您好,登錄后才能下訂單哦!
【io.file.buffer.size】(core-site.xml)
用來設置緩存的大小,較大的緩存提供更高效的數據傳輸,但也意味著更大的內存消耗和延遲
默認值為4KB,一般情況下設置為64KB(65536)
【dfs.balance.bandwidthPerSec】
HDFS平衡器檢測集群中使用過度或者使用不足的DataNode,并在這些DataNode之間轉移數據塊來保證負載均衡。該參數定義了每個DataNode平衡操作所允許的最大使用帶寬,單位是byte,網絡帶寬單位一般是bit
【dfs.block.size】
默認值為67108864,即64MB;參考值為134217728(128M)
【dfs.DataNode.du.reserved】
由于mapred.local.dir經常與DataNode共享可用的硬盤資源,因此我們需要為MapReduce任務保留一些硬盤資源。建議每個硬盤都為map任務保留最小10GB的資源,即10737418240.
【dfs.NameNode.handler.count】
NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。默認值為10,一般講該值設置為集群大小的自然對數乘以20,即20logN。
該值設置過小明顯的癥狀就是DataNode在連接NameNode的時候總是超時或者連接被拒
【dfs.DataNode.failed.volumes.tolerated】
當DataNode的任意一個本地磁盤故障時,默認認定整個DataNode失效。該參數默認值為0,意味著只要有一個磁盤出現故障就會導致整個DataNode 不可用。參考值為1
【dfs.hosts】
通過含有DataNode主機名列表的文件來確認允許連接并加入集群的DataNode
【dfs.host.exclude】
把相關節點排除在HDFS外,可卸載DataNode
【fs.trash.interval】(core-site.xml)
定義.Trash目錄下文件被永久刪除前保留的時間(分鐘數),默認為0,即垃圾回收站功能關閉,參考值為1440(24小時)
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。