91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop優化與調整

發布時間:2020-05-30 07:52:01 來源:網絡 閱讀:654 作者:espanol 欄目:大數據

【io.file.buffer.size】(core-site.xml)

用來設置緩存的大小,較大的緩存提供更高效的數據傳輸,但也意味著更大的內存消耗和延遲

默認值為4KB,一般情況下設置為64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器檢測集群中使用過度或者使用不足的DataNode,并在這些DataNode之間轉移數據塊來保證負載均衡。該參數定義了每個DataNode平衡操作所允許的最大使用帶寬,單位是byte,網絡帶寬單位一般是bit

【dfs.block.size】

默認值為67108864,即64MB;參考值為134217728(128M)

【dfs.DataNode.du.reserved】

由于mapred.local.dir經常與DataNode共享可用的硬盤資源,因此我們需要為MapReduce任務保留一些硬盤資源。建議每個硬盤都為map任務保留最小10GB的資源,即10737418240.

【dfs.NameNode.handler.count】

NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。默認值為10,一般講該值設置為集群大小的自然對數乘以20,即20logN。

該值設置過小明顯的癥狀就是DataNode在連接NameNode的時候總是超時或者連接被拒

【dfs.DataNode.failed.volumes.tolerated】

當DataNode的任意一個本地磁盤故障時,默認認定整個DataNode失效。該參數默認值為0,意味著只要有一個磁盤出現故障就會導致整個DataNode 不可用。參考值為1

【dfs.hosts】

通過含有DataNode主機名列表的文件來確認允許連接并加入集群的DataNode

【dfs.host.exclude】

把相關節點排除在HDFS外,可卸載DataNode

【fs.trash.interval】(core-site.xml)

定義.Trash目錄下文件被永久刪除前保留的時間(分鐘數),默認為0,即垃圾回收站功能關閉,參考值為1440(24小時)

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

广平县| 镇巴县| 渭南市| 邳州市| 浮梁县| 嘉鱼县| 荆门市| 福泉市| 佛冈县| 互助| 穆棱市| 平塘县| 安平县| 马尔康县| 渭南市| 壶关县| 吉林市| 台山市| 沽源县| 乳山市| 无棣县| 台南县| 民丰县| 松阳县| 乃东县| 林西县| 库车县| 定结县| 岳西县| 永清县| 资中县| 新余市| 桃园县| 肥城市| 安多县| 武穴市| 灵武市| 长汀县| 巧家县| 高清| 保康县|