CDH5離線安裝手冊

Cloudera manage（離線）安裝手冊

（按步驟操作）

1.       準備工作

1.1.    系統環境

硬件設備：vm虛擬機

網絡組成：

                   192.168.210.131master

                   192.168.210.132slave1

                   192.168.210.134slave2

                   192.168.210.133slave3

操作系統：Linux version 2.6.32-220.el6.x86_64

1.2.    安裝JDK

從官方網站上下載rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具體情況未經測試），執行命令：

rpm -ivh jdk-7u79-linux-x64.rpm

由于是rpm包并不需要我們來配置環境變量，我們只需要配置一個全局的JAVA_HOME變量即可，執行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile.d/java.sh

執行命令，查看Jdk是否安裝正確

java -version

javac -version

1.3.    修改主機名

修改/etc/sysconfig/network文件：

NETWORKING=yes

HOSTNAME=master

NETWORKING_IPV6=no

其中HOSTNAME與主機名一致。

主機名如果跟系統安裝時不一致請執行hostname命令讓其立即生效，否則會影響各節點互相訪問，命令如下：

hostnamemaster

修改/etc/hosts文件，添加：

192.168.1.101master

192.168.1.102slave1

192.168.1.103slave2

192.168.1.104slave3

重新啟動網絡服務，執行命令：

servicenetwork restart

1.4.    關閉防火墻

防火墻會引起hadoop相關組件通訊的各種異常。防火墻：

serviceiptables stop (臨時關閉)

chkconfigiptables off (重啟后生效)

設置SELINUX：

setenforce0 (臨時生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重啟后生效）

查看防火墻狀態：service iptables status

1.5.    修改wap交換空間

臨時生效：

sudo sysctl vm.swappiness=0

修改配置文件/etc/sysctl.conf重啟后仍然生效：

echo"vm.swappiness=0">>/etc/sysctl.conf

1.6.    SSH無密鑰驗證

所有節點均執行如下命令，遇到提示一路回車即可：

ssh-keygen-t rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys_$hostname

scp各數據節點文件authorized_keys到主節點：

scp ~/.ssh/authorized_keyshadoop@master:~/.ssh/

合并各節點文件authorized_keys_$hostname到文件authorized_keys：

cat~/.ssh/authorized_keys_$hostname >>authorized_keys

master主機分發合并后的authorized_keys所有節點主機：

scp ~/.ssh/authorized_keyshadoop@slave1:~/.ssh/

然后輸入密碼即可，以后再到其他機器就不需要密碼額。

如果ssh登陸時，等待輸入密碼時間較長，可以通過修改以下配置文件：

修改 /etc/ssh/sshd_config配置項UseDNS，設置為no，重啟sshd服務：servicesshd restart

修改 /etc/ssh/ssh_conf配置項GSSAPIAuthentication ，設置為no；

在多臺主機做ssh互信時，可以使用sshpass工具提高效率，具體操作如下：

1、  安裝sshpass工具

2、  在所有主機執行命令：sshpass-p 123456 ssh root@bigdata-2 "ssh-keygen -t rsa"

3、  合并所有主機的公鑰:

sshpass -p 123456 ssh root@bigdata-2 "cat/root/.ssh/id_rsa.pub"

>>/root/.ssh/authorized_keys

4、分發公鑰文件至各個主機；

1.7.    檢查時區

查看當前時區：date -R

修改時區為上海：ln -sf /usr/share/zoneinfo/posix/Asia/Shanghai /etc/localtime

1.8.    關閉大頁面配置項：

執行命令：echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此設置，然后將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統重啟時予以設置，

vi /etc/rc.local 增加配置

echo never > /sys/kernel/mm/transparent_hugepage/defrag

1.9.    修改允許打開文件數

修改文件：/etc/rc.local ，新增如下配置內容：

ulimit -SHn 65535

1.10.       安裝NTP服務

客戶端修改ntp配置文件：/etc/ntp.conf，新增ntp服務器配置:

server 192.168.10.188

啟動本機ntp服務：service ntpd start

手工同步ntp：ntpdate -u 192.168.10.188

查看ntp同步狀態：watch ntpq -p

1.11.       安裝Mysql數據庫

檢查安裝環境

查找以前是否裝有mysql，命令：

rpm -qa|grep -i mysql

可以看到mysql的兩個包：

mysql-4.1.12-3.RHEL4.1

mysqlclient10-3.23.58-4.RHEL4.1

刪除mysql

刪除命令：rpm -e --nodeps 包名

( rpm -ev mysql-4.1.12-3.RHEL4.1 )

刪除老版本mysql的開發頭文件和庫

rm -fr /usr/lib/mysql

rm -fr /usr/include/mysql

注意：卸載后/var/lib/mysql中的數據及/etc/my.cnf不會刪除，如果確定沒用后就手工刪除

rm -f /etc/my.cnf

rm -fr /var/lib/mysql

安裝server端

下載mysql安裝包，并執行安裝命令：

rpm-ivh MySQL-server-5.6.24-1.el6.x86_64.rpm（安裝包名稱）

root用戶初始密碼存儲位置為：

ARANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !

Youwill find that password in '/root/.mysql_secret'.

可以使用以上密碼登陸，然后修改為所需要的密碼。

安裝客戶端

下載mysql客戶端，執行命令安裝：

rpm-ivh  MySQL-client-5.6.24-1.el6.x86_64.rpm

1.12.       配置mysql數據庫

啟動mysql數據庫

servicemysql start

修改初始密碼：

修改MySQL數據庫root用戶的初始密碼，先查下初始密碼

cat/root/.mysql_secret

使用初始密碼登陸mysql數據庫，登陸命令為：

mysql -uroot –p

執行如下命令修改數據庫root用戶密碼：

setpassword=password('123456');

刷新權限表：

flushprivileges;

測試使用新密碼進行登陸。。。。。。。。。。。。。

2.       安裝CM

1. 1.    

2. 2.    

3. 2.1.    下載安裝包

下載地址http://archive-primary.cloudera.com/cm5/cm/5/，根據自己的系統選擇相應的版本，本次安裝選用的是cloudera-manager-el6-cm5.7.1_x86_64.tar.gz。下載完成后只上傳到master節點即可。然后解壓到/opt目錄下，不能解壓到其他地方，因為cdh6的源會默認在/opt/cloudera/parcel-repo尋找，怎么制作cdh6的本地源文件會在之后介紹。

2.2.    安裝CM

給所有節點添加cloudera-scm用戶：

useradd--system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini下面的server_host

#Hostname of the CM server.

server_host=master

上傳mysql驅動包mysql-connector-java-5.1.26-bin.jar到/opt/cm-5.7.1/share/cmf/lib/目錄：

cp/root/data/mysql-connector-java-5.1.26-bin.jar /opt/cm-5.7.1/share/cmf/lib/

為Cloudera Manager 5建立數據庫：

/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh數據庫類型  數據庫服務器用戶名密碼 –scm-host  Cloudera_Manager_Server所在的機器，后面那三個不知道代表什么，直接照抄官網的了。

開啟ClouderaManager 5 Server端：

/opt/cm-5.7.1/etc/init.d/cloudera-scm-serverrestart

注意server首次啟動不要立即關閉或重啟，因為首次啟動會自動創建相關表以及數據，如果因為特殊原因中途退出，請先刪除所有表以及數據之后再次啟動，否則將會出現啟動不成功的情況。 

開啟ClouderaManager 5 Agents端：

先scp/opt/cm-5.7.1到所有datanode節點上，然后在每臺機器上開啟Agents端：

scp-r  /opt/cm-5.7.1 root@slave1:/opt/cm-5.7.1

等待拷貝成功，在所有datanode節點上啟動：（注意必須以管理員權限啟動）

/opt/cm-5.7.1/etc/init.d/cloudera-scm-agentrestart

瀏覽器啟動ClouderaManager 5 控制臺（默認端口號是7180），啟動成功就會看到登陸頁面。

2.3.    添加Service Monitor服務

直接在cm管理頁面添加service組件即可；

3.       安裝CDH

1. 3.    

2. 3.1.    下載CDH版本

下載CDH版本到本地http://archive-primary.cloudera.com/cdh6/parcels/5.0.0/，需要下載兩樣東西：

1、與操作系統版本相對應的parcel包

2、  manifest.json文件。

3.2.    安裝CDH

本地源制作

下載完成后將這兩個文件放到master節點的/opt/cloudera/parcel-repo下（目錄在安裝Cloudera Manager 5時已經生成）；打開manifest.json文件，里面是json格式的配置，找到與我們系統版本相對應的hash碼，因為我們用的是redhat6.4，所以找到如下位置：
                           

在這個大括號的最下面找到“hash”所對應的值。

將“hash”的值復制下來，然后創建一個文件，文件名與你的parel包名一致，并加上.sha后綴：

此時安裝目錄下有3個文件，將“hash”的值復制到新建的sha文件中，并保存，然后重啟cm server；

CDH安裝

打開http://192.168.1.101:7180，登陸控制臺，默認賬戶和密碼都是admin，安裝時選擇免費版，之后由于cm5對中文的支持很強大，按照提示安裝即可，如果系統配置有什么問題在安裝過程中會有提示，根據提示給系統安裝組件就可以了。

如果在安裝時選擇了安裝Hive，可能會遇到安裝失敗的問題，查看一下日志發現時安裝Hive時需要安裝JDBC驅動，所以同樣我們將Mysql的驅動包拷貝到/opt/cloudera/parcels/CDH-5.7.1-1.cdh6.7.1.p0.6/lib/hive/lib目錄下，之后再繼續安裝就不會遇到問題了。

3.3.    配置HA

配置HDFS及YARN 高可用

分別進入HDFS、YARN服務管理頁面，選擇ACTION（操作），點擊啟用HA，按照步驟操作即可；

4.       常見問題處理

1、  安裝hive、Impala等組件時，需要mysql源數據支持，需要新建數據庫并進行賦權操作，詳細操作如下：

--創建數據庫

createdatabase cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase hive   DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;    

createdatabase smon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;   

createdatabase hmon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase hiverep DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--數據庫授權

grantall on *.* to root@"%" Identified by "123456";

2、  Hive或者impala表注釋中文亂碼解決方法：

alter table COLUMNS_V2 modify column COMMENT varchar(256) characterset utf8; 

alter table TABLE_PARAMSmodify column PARAM_VALUE varchar(4000) character set utf8;

5.       CDH服務端口列表

6.       CDH開啟防火墻配置

整體方案：

集群內部安全采用白名單方式，集群內機器可以自由訪問彼此；針對接入外網的機器，使用端口過濾，主機默認拒絕所有外面的訪問，針對特點端口進行開放。具體操作如下：

修改防火墻配置文件：/etc/sysconfig/iptables

添加防火墻策略如下：