CDH5基礎知識點有哪些

這篇文章主要講解了“CDH5基礎知識點有哪些”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“CDH5基礎知識點有哪些”吧！

0. 體系架構

CM分為Server與Agent兩部分及數據庫（自帶更改過的嵌入Postgresql）。它主要做三件事件：

1.       管理監控集群主機。

2.       統一管理配置。

3.       管理維護Hadoop平臺系統。

實現采用C/S結構，Agent為客戶端負責執行服務端發來的命令，執行方式一般為使用python調用相應的服務shell腳本。Server端為Java REST服務，提供REST API，Web管理端通過REST API調用Server端功能，Web界面使用富客戶端技術（Knockout）。

1.       Server端主體使用Java實現。

2.       Agent端主體使用Python, 服務的啟動通過調用相應的shell腳本進行啟動，如果啟動失敗會重復4次調用啟動腳本。

3.       Agent與Server保持心跳，使用Thrift RPC框架。

1. 相關目錄

·         /opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。

·         /opt/cloudera/parcel-repo/ : 下載的服務軟件包數據，數據格式為parcels。

·         /opt/cloudera/parcel-cache/ : 下載的服務軟件包緩存數據。

·         /opt/cloudera/parcels/CDH/jars : 所有jar包所在目錄

·         /var/log/cloudera-scm-installer : 安裝日志目錄

·         /var/log/cloudera-scm-* : 相關日志文件（相關服務的及CM的）

·         /usr/share/cmf/ : 程序安裝目錄

·         /usr/lib64/cmf/ : Agent程序代碼

·         /var/lib/cloudera-scm-server-db/data : 內嵌postgresql數據庫目錄

·         /var/lib/cloudera-scm-server:服務端目錄

·         /usr/bin/postgres : 內嵌數據庫程序

·         /etc/cloudera-scm-agent/ : cm agent的配置目錄。

·         /etc/cloudera-scm-agent/config.ini ：配置連接服務端的配置,如server_host

·         /etc/cloudera-scm-server/ : cm server的配置目錄。

·         /etc/cloudera-scm-server/db.properties ：database settings

·         /etc/hadoop/* ：hadoop客戶端配置目錄

·         /etc/hive/ ：hive 的配置目錄

2. 配置及環境變量

             CDH安裝完成后,服務啟動時,Hadoop各組件配置文件會被放置于/var/run/cloudera-scm-agent/process/目錄下。

例如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是通過Cloudera Manager啟動相應服務（如HDFS）時生成的，內容從數據庫中獲得（即通過界面配置的參數）。

           在CM界面上更改配置是不會立即反映到配置文件中，這些信息會存儲于數據庫中，等下次重啟服務時才會生成配置文件。且每次啟動時都會產生新的配置文件。

          CM Server主要數據庫為scm/cmf中放置配置的數據表為configs。里面包含了服務的配置信息

每一次配置的更改會把當前頁面的所有配置內容添加到數據庫中，以此保存配置修改歷史。

·         查看配置內容

             a.直接查詢cmf數據庫的configs數據表的內容。

             b.訪問REST API：http://172.16.101.66:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。

·         配置生成方式

CM為每個服務進程生成獨立的配置目錄（文件）。所有配置統一在服務端查詢數據庫生成（因為scm/cmf數據庫只能在localhost下訪問）生成配置文件，再由agent通過網絡下載包含配置文件的zip包到本地解壓到指定的目錄。

·         配置修改

CM對于需要修改的配置預先定義，對于沒有預先定義的配置,則通過在高級配置項中使用xml配置片段的方式進行配置。而對于/etc/hadoop/下的配置文件是客戶端的配置，可以在CM通過部署客戶端生成客戶端配置。

·         環境變量腳本:/opt/cloudera/parcels/CDH/meta/cdh_env.sh

   CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

   HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop

#CM 客戶端/服務端、Hadoop各個組件的配置文件都在/etc目錄下

3. CM常用命令

       service cloudera-scm-server start|stop|restart|status

       service cloudera-scm-server-db start|stop|restart|status

       service cloudera-scm-agent start|stop|restart|status

       查看進程:jps / jps -l

4. Hadoop Shell

      hadoop fs -ls /:列出hdfs文件系統根目錄下的目錄和文件

      hadoop fs -ls -R /:列出hdfs文件系統所有的目錄和文件

      hadoop dfsadmin –report : 查看文件系統的基本信息和統計信息

感謝各位的閱讀，以上就是“CDH5基礎知識點有哪些”的內容了，經過本文的學習后，相信大家對CDH5基礎知識點有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！