您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“hadoop如何解決discp不同版本間拷貝數據的問題”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“hadoop如何解決discp不同版本間拷貝數據的問題”這篇文章吧。
hadoop discp 的時候遇到的checksum mismatch問題
解決方法
網上普遍解決方法
在hdfs-site.xml
將dfs.checksum.type屬性設置為CRC32
使用過程中仍然有報上述錯誤
經檢驗 參照 http://blog.sina.com.cn/s/blog_7ed002b30101kk08.html
使用 -update -skipcrccheck 選項即可。
hadoop distcp -update -skipcrccheck hftp://host:50070/文件 /路徑
以上是“hadoop如何解決discp不同版本間拷貝數據的問題”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。