您好,登錄后才能下訂單哦!
這篇文章主要介紹了Sequencefile是什么,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
SequenceFile是Hadoop API 提供的一種二進制文件,它將數據以<key,value>的形式序列化到文件中。這種二進制文件內部使用Hadoop 的標準的Writable 接口實現序列化和反序列化。它與Hadoop API中的MapFile 是互相兼容的。Hive 中的SequenceFile 繼承自Hadoop API 的SequenceFile,不過它的key為空,使用value 存放實際的值, 這樣是為了避免MR 在運行map 階段的排序過程。
SequenceFile的文件結構圖:
Header通用頭文件格式:
SEQ | 3BYTE |
Nun | 1byte數字 |
keyClassName | |
ValueClassName | |
compression | (boolean)指明了在文件中是否啟用壓縮 |
blockCompression | (boolean,指明是否是block壓縮) |
compression | codec |
Metadata | 文件元數據 |
Sync | 頭文件結束標志 |
感謝你能夠認真閱讀完這篇文章,希望小編分享的“Sequencefile是什么”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。