什么是Cloudera Management Service

這篇文章給大家介紹什么是Cloudera Management Service，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

我會簡要說明Service Monitoring (SMON)和Host Monitoring (HMON)如何與CM/CDH一起工作。

如上圖所示，我將所有CDH服務都放在一個節點中，并且全部由一個CM Agent管理，這樣可以減少每個組件之間的連接線，以方便閱讀。

在深入介紹這個圖之前，我先解釋一下圖中各個組件的具體作用。

CM Server

它是Cloudera Manager的重要組成部分，它主要有以下作用：

• 將集群的運行狀態保存到數據庫

• 將每個組件的配置信息保存到數據庫

• 提供Cloudera Manager API

• 提供Cloudera Manager Web UI

• 管理Cloudera Manager Agent進程的心跳

• 與各種Cloudera Management Services進行通信以提供以下功能：

• 生成告警信息

• 告警

• 顯示圖表

• 觸發命令

• etc…

CM Agent

每個受Cloudera Manager管理的節點上都會有這個服務，它的主要作用是：

• 通過supervisord啟動或停止進程

• 解壓縮配置并在每個主機上部署

• 觸發安裝

• 監控主機

Service Monitor (SMON)

它的主要作用是：

• 收集有關服務的健康狀況和指標信息，并在CM的Web UI上進行展示。

• 從YARN服務中收集活動信息，以便在CM的Web UI上顯示YARN的作業列表。

• 從Impala服務中收集活動信息，以便在CM的Web UI上顯示Impala的作業列表。

Host Monitor (HMON)

它的主要作用是：

• 收集有關主機的健康狀況和指標信息，并在CM的Web UI上進行展示。

現在讓我們回到之前那張圖來看看服務之間具體如何通信以及工作的。

你可以看到在每個運行CDH組件的主機上都會安裝CM agent，這些主機都會受Cloudera Manager管理。agent會跟蹤主機上運行的所有進程比如NameNode，ResourceManager，JobHistory Server等。這是通過supervisord來實現的，supervisord是Cloudera Manager集成的第三方組件。

默認每15秒CM agent會向CM server發送一次心跳，這樣CM server就會一直知道這些主機上發生了什么。例如，在某些主機上觸發的諸如啟動，停止或重啟服務之類的動作將作為心跳的一部分發送到CM服務器，CM會將這些信息記錄更新到后端的數據庫，同時會發送新的指令到agent以告訴其下一步要做什么。

CM server會將所有的數據都保存到數據庫中，包括每個組件的配置，每個服務和主機的狀態等。大多數CM/CDH用戶都會使用MySQL，PostgreSQL或Oracle作為后端的數據庫，因為這幾個都是被廣泛使用的關系型數據庫。

CM agent還會定期將主機和服務狀態發送到Host Monitor和Service Monitor，這樣CM就可以記錄健康狀態并在其Web UI上顯示。如果檢測到任何異常狀態，CM中會觸發告警并通知用戶。

關于什么是Cloudera Management Service就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。