Hive中靜態分區與動態分區的示例分析

這篇文章給大家分享的是有關Hive中靜態分區與動態分區的示例分析的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

　　分區是hive存放數據的一種方式。將列值作為目錄來存放數據，就是一個分區。這樣查詢時使用分區列進行過濾，只需根據列值直接掃描對應目錄下的數據，不掃描其他不關心的分區，快速定位，提高查詢效率。分動態和靜態分區兩種：

　　1.靜態分區：若分區的值是確定的，那么稱為靜態分區。新增分區或者是加載分區數據時，已經指定分區名。

　　createtableifnotexistsday_part1(

　　uidint,

　　unamestring

　　)

　　partitionedby(yearint,monthint)

　　rowformatdelimitedfieldsterminatedby''

　　;

　　##加載數據指定分區

　　loaddatalocalinpath'/root/Desktop/student.txt'intotableday_part1partition(year=2017,month=04);

　　##新增分區指定分區名

　　altertableday_part1addpartition(year=2017,month=1)partition(year=2016,month=12);

　　2.動態分區：分區的值是非確定的，由輸入數據來確定

　　2.1動態分區的相關屬性：

　　hive.exec.dynamic.partition=true:是否允許動態分區

　　hive.exec.dynamic.partition.mode=strict：分區模式設置

　　strict：最少需要有一個是靜態分區

　　nostrict：可以全部是動態分區

　　hive.exec.max.dynamic.partitions=1000：允許動態分區的最大數量

　　hive.exec.max.dynamic.partitions.pernode=100：單個節點上的mapper/reducer允許創建的最大分區

　　2.2動態分區的操作

　　##創建臨時表

　　createtableifnotexiststmp(

　　uidint,

　　commentidbigint,

　　recommentidbigint,

　　yearint,

　　monthint,

　　dayint

　　)

　　rowformatdelimitedfieldsterminatedby'';

　　##加載數據

　　loaddatalocalinpath'/root/Desktop/comm'intotabletmp;

　　##創建動態分區表

　　createtableifnotexistsdyp1(

　　uidint,

　　commentidbigint,

　　recommentidbigint

　　)

　　partitionedby(yearint,monthint,dayint)

　　rowformatdelimitedfieldsterminatedby''

　　;

　　##嚴格模式

　　insertintotabledyp1partition(year=2016,month,day)

　　selectuid,commentid,recommentid,month,dayfromtmp;

　　##非嚴格模式

　　##設置非嚴格模式動態分區

　　sethive.exec.dynamic.partition.mode=nostrict;

　　##創建動態分區表

　　createtableifnotexistsdyp2(

　　uidint,

　　commentidbigint,

　　recommentidbigint

　　)

　　partitionedby(yearint,monthint,dayint)

　　rowformatdelimitedfieldsterminatedby'';

　　##為非嚴格模式動態分區加載數據

　　insertintotabledyp2partition(year,month,day)

　　selectuid,commentid,recommentid,year,month,dayfromtmp;

　　3.分區注意細節

　　(1)、盡量不要是用動態分區，因為動態分區的時候，將會為每一個分區分配reducer數量，當分區數量多的時候，reducer數量將會增加，對服務器是一種災難。

　　(2)、動態分區和靜態分區的區別，靜態分區不管有沒有數據都將會創建該分區，動態分區是有結果集將創建，否則不創建。

　　(3)、hive動態分區的嚴格模式和hive提供的hive.mapred.mode的嚴格模式。

　　hive提供我們一個嚴格模式：為了阻止用戶不小心提交惡意hql

　　hive.mapred.mode=nostrict:strict

　　如果該模式值為strict，將會阻止以下三種查詢：

　　(1)、對分區表查詢，where中過濾字段不是分區字段。

　　(2)、笛卡爾積join查詢，join查詢語句，不帶on條件或者where條件。

　　(3)、對orderby查詢，有orderby的查詢不帶limit語句。

感謝各位的閱讀！關于“Hive中靜態分區與動態分區的示例分析”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！