Centos6 安裝cdh5.7

Centos6 安裝cdh6.7

•  安裝前的準備工作

•  JDK環境

版本：jdk-7u79-linux-x64.tar.gz

下載地址：oracle官網（http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html）

安裝上 會生成 /usr/local/jdk1.7.0_79

需要建立軟連接 ln –s /usr/local/jdk1.7.0_79 /usr/local/java

在來一個 ln –s /usr/local/java /usr/share/java

還來一個 ln -s /usr/local/java /usr/java/jdk1.7

加環境變量

export JAVA_HOME=/usr/local/java

export PATH=${JAVA_HOME}/bin:${PATH}

• mysql連接

http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.47-bin.jar 我下載的這個

把下載的包放到/usr/local/

并重新命名 mysql-connector-java.jar

• CDH

先下載 cloudera manager安裝包 下載地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6- cm5.7.0_x86_64.tar.gz

下載 CDH 安裝包（parcel 包）下載地址：http://archive.cloudera.com/cdh6/parcels/5.7.0/

manifest.json

需要上面這3個

•  系統需要做的準備

Ntp 時間 所有機器的時間要一樣 （百度吧不會的簡單）

Ssh 互相（root用戶）

防火墻 selinux都不開（沒在考慮范圍）

Hosts 里面要有所有服務器的解析 Ip hostname

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

自己設置開機啟動吧

• 安裝cdh

-----------------------------------------------------------manager機器---------------------------------------------------先操作 cloudera-manager 機器

mkdir -p /var/cloudera-scm-server

mkdir -p /opt/cloudera/parcel-repo

tar xf /opt/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager

把另外一個包放到這/opt/cloudera/parcel-repo（注意把sha1 換成這樣sha）

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

-------------------------------------------------- manager機器-----------------------------------------------------------

-------------------------------------------------- 所有機器----------------------------------------------------------------

所有機器加用戶 cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.

server_host=node2 這個要指向manager的機器的地址 ip 也行

-------------------------------------------------- 所有機器----------------------------------------------------------------

-------------------------------------------------- manager機器-----------------------------------------------------------

在manager的機器指向cm server的數據庫初始化

方法一 ：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql –h2.1.1.1 -uroot –pxxxx --scm-host 2.2.2.2 scm scm scm

上面這個命令需要root權限 沒有scm庫才執行

方法二：（建議這樣，數據庫我們有dba管理人家不能給你root給你一個庫的權限）

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫

grant all privileges on scm.* to scm@'node2' identified by 'scm'; 授權

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode1 --scm-host node2 scm scm scm #node1是數據庫的地址 Node2是manager地址 scm庫 scm 用戶 scm密碼

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties 看看生成什么

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start 啟動服務

如果啟動失敗需要修改 /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

添加系統服務：

cp /opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

-------------------------------------------------- manager機器-----------------------------------------------------------

-------------------------------------------------- 所有機器-----------------------------------------------------------

同理把/opt/cloudera-manager/cm-5.7.0/etc/init.d/下的cloudera-scm-agent 也設置成系統服務并啟動

cp cloudera-scm-agent /etc/init.d/

chkconfig --add cloudera-scm-agent

vim /etc/init.d/cloudera-scm-agent 不這樣會報啟動命令里面的命令找不到路徑

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

/etc/init.d/cloudera-scm-agent start 啟動

把 /etc/init.d/cloudera-scm-agent 復制到全部機器

vi /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini 注意這個文件 到要指定到manager那臺機器

每臺都加系統服務和啟動

Web頁面登錄cdh安裝其他軟件

7180端口訪問 manager的機器 admin admin 默認

這里就注意了選擇新機器 如果沒有安裝剛才的agent這里也能安裝比咱們上面的簡單

下面是版本的選擇

到這就安裝了一個沒有安裝agent的機器

選擇當前的管理主機

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 記得授權數據庫

grant all privileges on *.* to hive@'%' identified by 'xxx';

點擊測試通過就行

/etc/sudoers里面的Defaults requiretty需要注釋掉。

在安裝服務界面，執行失敗時，點擊查看詳細信息，會給出這樣類似的錯誤信息。查看/opt/cloudera-manager/cm-5.4.1/run/cloudera-scm-agent/process目錄下相關日志。 發現上面這個錯誤信息是由于JAVA_HOME問題，啟動腳本中，JAVA_HOME并不是根據環境變量來獲取，而是在它列舉的幾個目錄下尋找，所以只要把你的java路徑ln -s過去就行，比如我的 ln -s /usr/local/java /usr/java/jdk1.7

如果還是不行后退一步在下一步

到這manager就完成了安裝

添加服務oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫授權

grant all privileges on *.* to oozie@'%' identified by 'xxxx';

添加kafka服務

有個紅色警告

此角色需要在可以啟動前激活以下其他 Parcel：[kafka]。

出現上面的返回

報錯了不要緊，點到集群主頁修改配置 不用點完成上面那個也行

修改完成配置再啟動完美解決 所有的記錄安裝就到這了有問題可以聯系我一起來解決

• 更換kafka版本2

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 這可以查看版本對應關系

訪問cdh控制面板：

點擊圖標

再點擊配置

遠程parcel地址點擊?號選擇

https://archive.cloudera.com/kafka/parcels/2.0.0/ 加上這個版本的parcel地址 點擊保存

在到集群里面點擊kafka

把服務停止。

在到禮物里面把相應的版本停止

找到新的版本后點擊下載 在點激活 ，

/opt/cloudera/parcels/ 多了一個KAFKA的軟連接

執行一個命令看看情況:

kafka-topics --zookeeper 10.10.32.21:2181 –describe ip為ZooKeeper

的地址 看Leader：值有沒有-1的沒有就正常有就有問題了。