HDFS的基本概念介紹

1. HDFS的設計思路？

  hdfs是分布式的文件系統，用來在廉價的集群上做大數據量的存儲。

1.大文件被切割成小文件，使用分而治之的思想讓很多服務器對同一個文件進行聯合管理
2.每個小文件做冗余備份，并且分散存到不同的服務器，做到高可靠不丟失

2. HDFS的架構？

namenode：集群老大，掌管文件系統目錄樹，處理客戶端讀且請求
SecondaryNamenode：持久化元數據，主要給 namenode 分擔壓力之用
DataNode：存儲整個集群所有數據塊，處理真正數據讀寫

3. HDFS的特性？

  - HDFS 中的文件在物理上是分塊存儲（block），塊的大小可以通過配置參數(dfs.blocksize)來規定，默認大小在 hadoop2.x 版本中是 128M，老版本中是 64M
  - HDFS 文件系統會給客戶端提供一個統一的抽象目錄樹，客戶端通過路徑來訪問文件
  - namenode 是 HDFS 集群主節點，負責維護整個 hdfs 文件系統的目錄樹，以及每一個路徑（文件）所對應的 block 塊信息（block 的 id，及所在的 datanode 服務器）
  - datanode 是 HDFS 集群從節點，每一個 block 都可以在多個 datanode 上存儲多個副本（副本數量也可以通過參數設置 dfs.replication，默認是 3）
  - HDFS 是設計成適應一次寫入，多次讀出的場景，且不支持文件的修改

4. HDFS的優缺點？

• 優點：
  • 可構建在廉價機器上，通過多副本提高可靠性，提供了容錯和恢復機制
  • 高容錯性，數據自動保存多個副本，副本丟失后，自動恢復
  • 適合批處理，移動計算而非數據，數據位置暴露給計算框架
  • 適合大數據處理，GB、TB、甚至 PB 級數據
  • 流式文件訪問，一次性寫入，多次讀取，保證數據一致性
• 缺點：
  • 低延遲數據訪問，不適合于低延遲高吞吐
  • 小文件存取，不適用與小文件存儲，占用空間，尋道時間超過讀取時間
  • 不支持并發寫入，和隨機讀取。hdfs同一時間只能有一個寫入者，并且不支持多次插入，只能追加