溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關如何使用Hadoop存檔工具的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
每個文件按塊方式存儲, 每個塊的元數據存儲在namenode的內存中
Hadoop存檔文件或HAR文件是一個更高效的文件存檔工具,它將文件存入HDFS塊,在減少內存使用的同時,允許對文件進行透明地訪問
Hadoop存檔文件可以用作MapReduce的輸入
Hadoop存檔是通過archive工具根據一組文件創建而來的,該存檔工具運行一個MapReduce作業來并行處理所有的輸入文件
使用archive
hadoop archive -archiveName files.har /my/files /my
第一個選項是存檔文件的名稱,這里是第一個參數 file.har
第二個參數是需要存檔的文件
第三個參數是HAR文件的輸出目錄
列出HAR文件中的文件
hadoop fs -ls /my/files.har
遞歸列出HAR文件中的文件
hadoop fs -lsr /my/files.har
其他文件系統中引用HAR文件,則需要使用不同的URI路徑格式,示例如下
hadoop fs -lsr 不足 新建一個存檔文件會創建原始文件的一個副本 一旦創建,不能修改 InputFormat不知道文件已經存檔
感謝各位的閱讀！關于“如何使用Hadoop存檔工具”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
