溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本例以hive為例，只考慮到實現，與性能無關
首先創建表
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | CREATE TABLE orders (orderid INT,createtime STRING,modifiedtime STRING,status STRING) row format delimited fields terminated by '\t'CREATE TABLE ods_orders_inc (orderid INT,createtime STRING,modifiedtime STRING,status STRING) PARTITIONED BY (day STRING)row format delimited fields terminated by '\t'CREATE TABLE dw_orders_his (orderid INT,createtime STRING,modifiedtime STRING,status STRING,dw_start_date STRING,dw_end_date STRING) row format delimited fields terminated by '\t' ; |
首先全量更新，我們先到2016-08-20為止的數據。
初始化，先把2016-08-20的數據初始化進去
1 2 3 4 | INSERT overwrite TABLE ods_orders_inc PARTITION (day = '2016-08-20')SELECT orderid,createtime,modifiedtime,statusFROM ordersWHERE createtime < '2016-08-21' and modifiedtime <'2016-08-21'; |
刷到dw中
1 2 3 4 5 6 | INSERT overwrite TABLE dw_orders_hisSELECT orderid,createtime,modifiedtime,status,createtime AS dw_start_date,'9999-12-31' AS dw_end_dateFROM ods_orders_incWHERE day = '2016-08-20'; |
如下結果
1 2 3 4 5 | select * from dw_orders_his;OK1 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-312 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-313 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-31 |
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
