溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了Hive中如何實現對中間數據啟用壓縮，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
復雜的Hive查詢通常會轉換為一系列多階段的MapReduce作業，并且這些作業將由Hive引擎鏈接起來以完成整個查詢。因此，此處的“中間輸出”是指上一個MapReduce作業的輸出，它將用作下一個MapReduce作業的輸入數據。
壓縮可以顯著減少中間數據量，從而在內部減少了Map和Reduce之間的數據傳輸量。
我們可以使用以下屬性在中間輸出上啟用壓縮。
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;為了將最終輸出到HDFS的數據進行壓縮，可以使用以下屬性：
set hive.exec.compress.output=true;
下面是一些可以使用的壓縮編解碼器
org.apache.hadoop.io.compress.DefaultCodec
org.apache.hadoop.io.compress.GzipCodec
org.apache.hadoop.io.compress.BZip2Codec
com.hadoop.compression.lzo.LzopCodec
org.apache.hadoop.io.compress.Lz4Codec
org.apache.hadoop.io.compress.SnappyCodec感謝你能夠認真閱讀完這篇文章，希望小編分享的“Hive中如何實現對中間數據啟用壓縮”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
