cdh4云存儲最實用搭建方法

一、cdh是什么
CDH is Cloudera’s 100% open source Hadoop distribution, built specifically to meet enterprise demands
即一個開源的分布式存儲系統
二、cdh5包含了哪些軟件和功能
首先hbase,hadoop,zookeeper這些是必不可少的
其次hive,oozie,Map/Reduce也可以集成在其中
HBase是一個分布式的、面向列的開源數據庫，該技術來源于Chang et al所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”
hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲
ZooKeeper是Hadoop的正式子項目，它是一個針對大型分布式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分布式同步、組服務等
hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行
Oozie是一種框架，它讓我們可以把多個Map/Reduce作業組合到一個邏輯工作單元中
MapReduce是一種編程模型，用于大規模數據集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統上
三、cdh5的安裝
cdh5安裝一般來講通俗的方法就是登錄官方網站http://www.cloudera.com/blog/2012/02/introducing-cdh5/
下載所需rpm包,根據官方文檔,一路yum安裝,最后配置即可

這里我要介紹的是通過cloudera-manager來安裝cdh5的安裝過程
cloudera-manager也是apache基金會的產品,目前有免費版與商業版兩種,免費版只支持50個節點,商業版不限制
當然一般情況50個節點也就夠用了,這里我們用的就是cloudera-manager的免費版
官方下載地址:https://ccp.cloudera.com/display/SUPPORT/Downloads
1.安裝環境
node1:192.168.1.124 centos6.2系統
node2:192.168.1.163 centos6.2系統
iptables關閉
selinux關閉
2.安裝cloudera-manager
node1:
官方下載后會得到一個可執行文件cloudera-manager-installer.bin
這里需要我們事先安裝X Window System包組,原因很簡單,圖形化安裝界面
這里安裝時會自動yum安裝他所需要的包,大約有100多M,yum安裝,自動下載的,由于是外國的源,加上公司限速,天朝的種種策略等,經常會導致卡死不動,一天也安裝不完的狀況
我的安裝方法是直接中斷圖形化界面的安裝,就是直接kill掉,這時候他需要導入的yum源已經導入到我們的系統里了
根據yum源里面的連接http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.0.4/
自己手動下載,如下包

下載完成后,使用yum本地安裝
yum localinstall --nogpgcheck *.rpm
yum安裝完成后,重新運行cloudera-manager-installer.bin完成安裝(如果安裝失敗,提示已安裝,則進入/usr/share/cmf目錄中,刪除掉uninstall-cloudera-manager.sh文件即可)
附1:兩臺主機都要裝,只是一臺運行圖形化界面,作為控制臺,另一臺不用動,這里我是使用的node1節點作為控制臺
附2:兩臺主機jdk也要實現安裝好,否則也會自動下載安裝,推薦用rpm包安裝的jdk
3.安裝cdh5
①.cloudera-manager安裝完成后,會自動啟動,可以通過netstat -tnlp發現啟動了7182,7180等端口

通過網頁連接http://192.168.1.124:7180進入cloudera-manager的web管理入口,默認管理員用戶admin,密碼admin

登錄之后會提示如下框,即是使用免費版還是商業版,我們選擇免費使用

②.之后就是完全cloudera-manager控制臺web界面的安裝,很簡單
首先搜索主機,將兩主機ip填入,搜索到主機,然后選擇安裝

安裝版本cdh5,等等,然后就是讀條的安裝頁面,這里跟安裝cloudera-manager一樣,yum源文件出來之后,直接中斷,然后回到系統kill掉yum進程,關閉頁面
,通過/etc/yum.repos.d/cloudera-cdh5.repo查看所需下載軟件連接http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/4/下載如下rpm包

然后跟上面一樣,yum localinstall --nogpgcheck *.rpm
最后重新打開http://192.168.1.124:7180頁面重新對主機進行安裝
附1:cloudera-manager控制臺對于已經安裝過的軟件包不再重新下載安裝
附2:如果網速好的話,可以不用中斷,直接圖形化界面等待安裝完成,但是如果失敗了,千萬不要點重試,重試會卸載已安裝內容,也就是重頭再來,由于外國的源,網速神馬的都懂的
③.安裝玩以上內容后,會有個主機檢測,主機多的話會比較慢,這個看個人而定,檢測完之后,可以選擇服務,這里我選擇的是hbase,hadoop,zookeeper,然后啟動服務
服務狀況實時檢測

主機狀況實時檢測

進入主機,打開hbase shell測試

到這里cdh5框架就可以使用了
附:對于沒有選擇的服務,默認也是不啟動的,這個不用擔心,如果需要用到hive等,可自行手動執行