HDFS中磁盤和數據節點大小的示例分析

發布時間：2021-12-09 09:43:51 來源：億速云閱讀：182 作者：小新欄目：大數據

小編給大家分享一下HDFS中磁盤和數據節點大小的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

大容量對HDFS集群的影響

減少IO帶寬

Hadoop集群依靠大規模的并行IO容量來支持數千個并發任務。假定一個大小為96TB的數據節點，讓我們考慮兩個磁盤大小– 8TB和16TB。一個具有8TB磁盤的數據節點將具有12個此類磁盤，而一個具有16TB磁盤的數據節點將具有6個磁盤。我們可以假設每個磁盤的平均讀/寫吞吐量為100MB / sec，主軸速度為7200 RPM。下表總結了每種配置的帶寬和IOPS。

	8TB ? 12 = 96TB	16TB ? 6 = 96TB
讀/寫吞吐量	1200 MB /秒	600 MB /秒
隨機IOPS	2880	1440

Bit-rot檢測需要更長的時間

每個數據節點在每個卷上運行一個卷掃描器，該掃描器掃描塊中的bit-rot。默認掃描周期為3周，因此在3周內會檢測到由于bit-rot而丟失的副本。由于卷掃描器與應用程序競爭磁盤資源，因此限制其磁盤帶寬非常重要。配置dfs.block.scanner.volume.bytes.per.second 定義了卷掃描器每秒可掃描的字節數，默認為1MB /秒。給定的配置帶寬為5MB /秒。

掃描12TB所需時間= 12TB / 5MBps ?28天。

進一步增加磁盤大小將增加檢測bit-rot所花費的時間。

重量級塊報告

較大的卷大小意味著卷的塊報告中有大量塊。這會影響集群性能，因為它會增加數據節點中的塊報告生成時間，RPC有效負載和名稱節點中的塊報告處理時間。

下圖表示由數據節點發送的塊報告的生成、網絡往返時間和處理時間。數據節點只有一個卷，并且通過增加該卷的塊數來收集統計信息。所有這些指標隨著磁盤中塊數量的增加而增加。

高密度存儲節點的影響

故障恢復需要更多時間

每當存儲節點發生故障時，必須將存儲在該節點上的塊復制到集群中的其他節點上，以恢復數據冗余。恢復時間的大小與數據節點的大小成線性關系，而與集群中的節點數成反比。可以使用以下公式將所有其他因素考慮為恒定的恢復時間。

恢復時間=(c ? s)/n

其中c是常數，s是每個節點的已用容量，n是集群中存儲節點的數量。

對于給定的集群容量，如果節點容量增加一倍，則恢復時間將增加4倍。假設集群平衡，則如果節點數減半，則每個節點的使用率都會加倍。

恢復時間= (c ? 2s) / (n/2) = (4 ? c ? s)/n

變量s和n在其他存儲解決方案中也具有相似的意義。因此，高密度的數據節點將對任何集群中的恢復時間產生類似的影響。

對Datanode停用的影響

在計劃中的某個節點退役期間，其所有塊都將重新復制到其他節點。高密度節點對數據節點停用時間的影響類似于其對故障數據節點恢復時間的影響。因此，對于給定的集群容量，如果數據節點的容量增加一倍，則退役時間將增加4倍。

HDFS-14854 實現了一些改進，這些改進將提高節點退役的性能。這些改進將在CDP的將來版本中提供。

以上是“HDFS中磁盤和數據節點大小的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！

向AI問一下細節

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

HDFS中磁盤和數據節點大小的示例分析

猜你喜歡

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

HDFS中磁盤和數據節點大小的示例分析

猜你喜歡

最新資訊

相關推薦

相關標簽