Cloudera Manager和CDH升級流程

1.Cloudera升級概述

升級包括兩個主要的步驟，升級Cloudera Manager和升級CDH群集

升級CM：

*升級CM時 可以使用rpm命令； Cloudera Manager升級時，Cloudera Navigator也會升級。

升級CDH：

*CM和CDH不需要同時升級，但CM和CDH的版本必須兼容。Cloudera Manager 6.0可以管理運行CDH 5.7到CDH 5.14的集群，只要Cloudera Manager的主+次版本 等于或高于 CDH的主+次版本。

例如：

支持:

· Cloudera Manager 6.0.0 and CDH 5.14.0

· Cloudera Manager 5.14.0 and CDH 5.13.0

· Cloudera Manager 5.13.1 and CDH 5.13.3

不支持:

· Cloudera Manager 5.14.0 and CDH 6.0.0

· Cloudera Manager 5.12 and CDH 5.13

· Cloudera Manager 6.0.0 and CDH 5.6

2.評估升級的影響

計劃一個足夠長的維護窗口(停機時間)來執行升級。根據需要升級的組件， 集群中的主機數量和硬件類型情況，你可能需要一整天的時間。

在開始升級之前，你需要收集一些信息 并做好提前準備

請參考Cloudera Manager的：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html

了解API的更改 過時的功能 新功能以及不兼容性的變更。

而且要檢查

https://www.cloudera.com/documentation/enterprise/upgrade/topics/rg_requirements_supported_versions.html#c6_requirements

以確保使用的是受支持的操作系統 JDK 數據庫和其他組件

有三種類型的升級：major, minor, and maintenance

Major升級

升級通常具有以下特征：

Hadoop的功能性發生了很大變化，有很多的更新內容

不兼容的數據格式

Cloudera Manager 界面發生重大改變

Cloudera Manager 數據庫中Schema變更
需要大量的停機時間來升級集群

重新部署客戶端配置

Minor 升級

Minor升級是指基于同樣的major將minor版本進行升級，比如從5.7.x升級到5.8.x，通常包括以下內容：

  新功能   

  Bug 修復

 Cloudera Manager自動處理的潛在數據庫Schema更改

在minor 升級中通常不會導致 不兼容的變更和數據格式的更改

Maintenance 升級

Maintenance升級 可以修復嚴重的bug或 解決安全問題 不會有兼容性修改和新功能

3.Cloudera Manager升級概述

升級CM 有以下步驟：

1. 備份Cloudera Manager服務器數據庫、工作目錄和其他幾個實體。如果升級過程中出現問題，可以使用這些備份來恢復Cloudera Manager部署

2. CM主機上 在命令行中使用package命令 升級Cloudera Manager Server ，例如Redhat的yum命令 cm會自動化完成這個過程的大部分流程

3. 在所有集群主機上升級Cloudera Manager agent，Cloudera Manager升級向導可以幫助你升級agent(并且，可選JDK) 也可以手動安裝agent 和JDK軟件。CDH在此過程中沒有升級。

有關Cloudera Manager升級的步驟，請參靠官網文檔：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_upgrade.html#concept_q1q_mbs_wx

如果你正要從5.x 升級到5.x 的更高版本 還可以使用tarballs升級Cloudera Manager 相關的過程 請參閱使用Tarball升級Cloudera Manager 5

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ag_ug_cm5_tarballs.html

4.CDH升級概述

CDH升級包含Hadoop軟件以及相關組件的更新 你可以使用Cloudera Manager來升級CDH 根據您使用的Cloudera Manager版本和要升級到的CDH版本的不同，這些過程也會有所不同 您可以使用Cloudera Manager使用parcels或軟件包升級CDH。

完成準備步驟后，可以使用Cloudera Manager升級向導完成升級 如果您使用parcels（推薦）啟用了HDFS高可用性，并且擁有Cloudera Enterprise許可證 您可以執行滾動升級，且無需在升級期間使群集脫機。

有關CDH升級步驟，請參見升級CDH集群

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cdh_upgrade.html#cdh_upgrade5

推薦使用 Parcels升級 CDH
使用parcels升級CDH是首選方法 因為Parcels是由Cloudera Manager管理 ，且會自動下載、分發和激活正確版本的軟件 為了更容易的升級過程 可以考慮從package切換到parcels，以便Cloudera Manager可以自動執行更多的過程。還可以在升級CDH時從package切換到parcels。

使用Packages升級 CDH

這個選項是最耗時的，需要您使用ssh登錄并在集群中的所有主機上執行一系列package命令 建議您改用Parcels來升級群集，這樣Cloudera Manager就可以將升級后的軟件分發給集群中的所有主機，而無需登錄到每個主機 如果使用 packages安裝群集，則可以使用parcels進行升級，并且群集將使用parcels進行后續升級

5.Cloudera Navigator升級概述

升級Cloudera Manager時 Cloudera Navigator Metadata和Audit servers會自動升級 你還可以選擇升級其他Cloudera Navigator組件 例如Cloudera Navigator Key Trustee Server, Cloudera Navigator Key HSM和Cloudera Navigator Encrypt 您無需隨Cloudera Manager或CDH升級一起升級這些組件 有關兼容性信息，請參閱：Cloudera Navigator加密產品兼容性矩陣（Cloudera Manager 5.x）和

升級Cloudera Navigator數據加密。

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_navigator_encryption

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cn_upgrade.html#cn_upgrade

6.Cloudera Manager升級

rpm包下載地址

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.4/RPMS/x86_64/

本地yum源設置
把下載的包放到某一個目錄 建立yum索引

cd /etc/yum.repos.d/ #cd到此目錄下

vi cloudera.repo 建立一個yum源配置文件配置如下

檢查yum源可用性

yum list

關閉Cloudera Management Service服務：

備份數據庫

關閉所有服務器上的Cloudera Manager Server和agent 并停止服務


停止所有服務器上的 server 和 agent 服務

升級cloudera相關組件

yum upgrade 'cloudera-*'

檢查安裝是否成功：

啟動Cloudera Manager Server服務

service cloudera-scm-server start

準備升級其他服務器的agent

點擊繼續

選擇自定義存儲庫

注：這里也可以選擇私鑰
升級成功點擊繼續
等待檢查之后 點擊繼續
OK