您好,登錄后才能下訂單哦!
部署了集群,上傳測試文件到HDFS文件系統的時候出現問題。could only be replicated to 0 nodes, instead of 1,如下圖所示:
度娘尋找解決方案:
博客鏈接:http://www.cnblogs.com/linjiqin/archive/2013/03/13/2957310.html
該博客指出,該產生該異常的原因如下:
1.系統或hdfs是否有足夠的空間
這個肯定是有的,測試數據,才幾十KB,可以用hadoop dfsadmin -report查看報告,也可以直接去web查看大小。localhost:50070
2.datanode數是否正常
主節點Namenode、JobTracker等進程都在,所有的從節點均有Datanode、TaskTracker進程,所以應該排除
3.是否在safemode
Web上可以看見safemode off,表明安全模式關閉。如果非要用命令查看,可以使用dfsadmin -safemode get 查看是否開啟安全模式。如果是安全模式,可以用dfsadmin -safemode leave強制離開安全模式。
4.防火墻是否關閉
ubuntu上關閉防火墻的命令是ufw disabled,我的集群早就關閉了。
5.關閉hadoop、格式化、重啟hadoop
沒有辦法的辦法,但是非常抱歉,對于我的問題沒有起到任何作用。
最終的解決方案:
原來是自己學藝不精,linux沒有學扎實,這么常見的錯誤我都沒看穿。hadoop所在的目錄已經快用完空間了,所以報這個錯誤,我修改了core-site.xml中DFS的地址,指向了有多余空間的目錄,重新格式化HDFS,跑案例,成功。
總結:
很多時候錯誤其實并不是我們目前所關注的問題,在于很小很細微的細節,自己的鍋,接好咯~
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。