Hadoop項目如何組成

這篇文章主要為大家展示了“Hadoop項目如何組成”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Hadoop項目如何組成”這篇文章吧。

 Hadoop由以下幾個項目構成

總體結構圖如下

1、Hadoop Common ：Hadoop體系最底層的一個模塊，為Hadoop各子項目提供各種工具，如：配置文件和日志操作等。

2、HDFS：分布式文件系統，提供高吞吐量的應用程序數據訪問，對外部客戶機而言，HDFS 就像一個傳統的分級文件系統。可以創建、刪除、移動或重命名文件，等等。但是 HDFS 的架構是基于一組特定的節點構建的（參見圖 1），這是由它自身的特點決定的。這些節點包括 NameNode（僅一個），它在 HDFS 內部提供元數據服務；DataNode，它為 HDFS 提供存儲塊。由于僅存在一個 NameNode，因此這是 HDFS 的一個缺點（單點失敗）。

　　存儲在 HDFS 中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統的 RAID 架構大不相同。塊的大小（通常為 64MB）和復制的塊數量在創建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS 內部的所有通信都基于標準的 TCP/IP 協議。

3、MapReduce ：一個分布式海量數據處理的軟件框架集計算集群。 

4、Avro ：doug cutting主持的RPC項目，主要負責數據的序列化。有點類似Google的protobuf和Facebook的thrift。avro用來做以后hadoop的RPC，使hadoop的RPC模塊通信速度更快、數據結構更緊湊。

5、Hive ：類似CloudBase，也是基于hadoop分布式計算平臺上的提供data warehouse的sql功能的一套軟件。使得存儲在hadoop里面的海量數據的匯總，即席查詢簡單化。hive提供了一套QL的查詢語言，以sql為基礎，使用起來很方便。

6、HBase ：基于Hadoop Distributed File System，是一個開源的，基于列存儲模型的可擴展的分布式數據庫，支持大型表的存儲結構化數據。

7、Pig ：是一個并行計算的高級的數據流語言和執行框架 ，SQL-like語言，是在MapReduce上構建的一種高級查詢語言，把一些運算編譯進MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。

8、ZooKeeper ：Google的Chubby一個開源的實現。它是一個針對大型分布式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。

9、Chukwa ：一個管理大型分布式系統的數據采集系統 由yahoo貢獻。

10、Cassandra ：無單點故障的可擴展的多主數據庫

11、Mahout ：一個可擴展的機器學習和數據挖掘庫

以上是“Hadoop項目如何組成”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！