Hadoop入門掃盲：hadoop發行版介紹與選擇

一、hadoop發行版介紹

目前Hadoop發行版非常多，有Intel發行版，華為發行版、Cloudera發行版（CDH）、Hortonworks版本等，所有這些發行版均是基于Apache Hadoop衍生出來的，之所以有這么多的版本，是由于Apache Hadoop的開源協議決定的：任何人可以對其進行修改，并作為開源或商業產品發布/銷售。

目前而言，不收費的Hadoop版本主要有三個，都是國外廠商，分別是：

Apache（最原始的版本，所有發行版均基于這個版本進行改進）

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱CDH）

Hortonworks版本(Hortonworks Data Platform，簡稱“HDP”）

對于國內用戶而言，絕大多數選擇CDH版本，Cloudera的CDH和Apache的Hadoop的區別如下：

(1) CDH對Hadoop版本的劃分非常清晰，截止目前為止，CDH共有5個版本，其中，前三個已經不再更新，最近的兩個，分別是CDH4和CDH5，CDH4基于Hadoop2.0，CDH5基于hadoop2.2/2.3/2.5/2.6.相比而言，Apache版本則混亂得多；同時，CDH發行版比Apache hadoop在兼容性，安全性，穩定性上有很大增強。  

(2)CDH3是CDH第三個版本，基于Apache hadoop0.20.2改進而來，并融入了最新的patch，CDH4版本是基于Apache hadoop2.0.0改進的,CDH總是并應用了最新Bug修復或者Feature的Patch，并比Apache hadoop同功能版本提早發布，更新速度比Apache官方快。

(3)CDH支持Kerberos安全認證，apache hadoop則使用簡陋的用戶名匹配認證.

(4)CDH文檔完善清晰，很多采用Apache版本的用戶都會閱讀CDH提供的文檔，包括安裝文檔、升級文檔等。 

(5)CDH支持yum/apt包，RPM包，tar包，Cloudera Manager三種方式安裝,Apache hadoop只支持Tar包安裝。

二、CDH發行版本介紹

CDH首先是100%開源，基于Apache協議。基于Apache Hadoop和相關projiect開發。可以做批量處理，交互式sql查詢和及時查詢，基于角色的權限控制。在企業中使用最廣的Hadoop分發版本。

Cloudera完善了CDH的版本，并提供了對hadoop的發布、配置和管理，監控，診斷工具，在官網提供了多種集成發行版。如下圖所示：

1、單純CDH版本下載，目前最新版本為CDH5.8.2，可自由下載并免費無限制使用。

2、Cloudera Express，可免費下載使用，包含了CDH，以及Cloudera Manager（簡稱CM），CM提供了對集群的管理功能，比如自動化部署，中心化管理，監控，診斷功能等。CM屬于非開源產品，Cloudera提供有限功能使用，之前對管理的數據節點限制為50個，目前已經取消了此限制，可無限增加數據節點。

3、Cloudera Enterprise是官方的收費產品，可免費試用60天全功能版本，過期后需要注冊碼才能繼續使用，否則將變為Cloudera Express版本，包含CDH，以及Cloudera Manager。Cloudera Enterprise在發布、配置和管理，監控，診斷，集成四個部分的功能是相同的。只有在高級管理功能中有區別，Cloudera Enterprise擁有這些功能，而Cloudera Express則沒有。

三、CDH發行版下載地址

可到官方網站下載頁面：http://www.cloudera.com/downloads.html， 也可以知道到下面地址下載不同版本：

http://archive.cloudera.com/cdh/

http://archive.cloudera.com/cdh5/

http://archive.cloudera.com/cdh6/

四、CDH與操作系統的依賴

CDH發行版本與操作系統的關系如下：

經驗推薦：

hadoop-2.3.0-cdh6.1.5以及之前的版本，推薦linux操作系統版本為Centos6.x以上

hadoop-2.5.0-cdh6.2.0以及之后的版本，推薦linux操作系統版本為Centos7.x（Centos7.1/7.2，7.0不支持）以上。