您好,登錄后才能下訂單哦!
Hadoop負載均衡
均衡器(balancer)是一個Hadoop守護進程,它將塊從忙碌的datanode移到相對空閑的datanode,從而重新分配塊。同時堅持塊副本放置策略,將副本分散到不同機架,以降低數據損壞率。它不斷移動塊,直到集群達到均衡,即每個datanode的使用率(該節點上已使用的空間與空間容量之間的比率)和集群的使用率(集群中已使用的空間與集群的空間容量之間的比率)非常接近,差距不超過給定的閾值。
為降低集群負荷,避免干擾其他用戶,均衡器被設計為后臺運行。在不同節點之間復制數據的帶寬也是受限的。默認值是很小的1MB/s,可以通過hdfs-site.xml文件中的dfs.balance.bandwidthPersec屬性重新設定(單位是字節)
Hadoop日志設置
可通過http://192.168.9.110:50070/logLevel查看和設置日志級別,截圖如下:
3.Hadoop堆棧跟蹤
可通過http://192.168.9.110:50070/stacks查看堆棧信息,截圖如下:
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。