Kubernetes日志收集的解決方案是什么

這期內容當中小編將會給大家帶來有關Kubernetes日志收集的解決方案是什么，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

在kubernetes集群環境下日志收集組件選型及方案

1、需求來源

在大規模集群部署的場景下，容器實例會部署到多個節點上，節點以及節點上的應用產生的日志會隨之分散在各個容器的主機上，傳統的集群應用大多在本地持久化，這給整個應用系統的日志監控和故障排除帶來了很大的挑戰，而在Kubernetes大規模集群環境下，需要考慮把分散在各個節點上的日志統一采集，統一管理，統一展示。

2、日志來源

• 主機內核日志

主機內核產生的錯誤日志通常可以幫助開發者診斷因為主機或者OS異常而帶來的服務異常，比如網絡異常，文件系統異常等。

• 核心組件日志

docker的日志幫助用戶查看pod內部容器的運行狀態、APIServer的日志，Scheduler產生的日志能夠幫助用戶查看Kubernetes本身運行產生的日志。

• 應用自身日志

通常業務升級或者在某種場景下出現異常，可以通過日志進行排查。

3、日志收集方式

• 宿主機文件

Pod應用的數據存儲在宿主機文件系統中，比如我們通過hostpath聲明把業務日志存儲在某個目錄下，通常會在每個節點上以DaemonSet形式部署fluentd或者filebeat，將宿主機的文件系統掛載到fluentd或者filebeat Pod中內進行采集，當然我們也可以采集其它日志（操作系統產生日志，Kubernetes組件產生日志等）如下圖所示：

• 容器內的文件
  

一種sidecar的日志收集模式，將日志收集容器和應用容器部署在同一個pod中，通過共享volume的形式實現對容器日志的收集，然后輸出到節點上，這種收集一般針對日志準確性要求比較高的應用，通過這種方式我們可以定制當前容器內的文件名、pod的ip等。如下圖所示：

• 容器內直接輸出

Pod應用直接將數據存儲在共享文件系統中（NFS、hdfs、ceph、GlusterFS等）。nfs日志存儲使用介紹 這種情況下我們可以直接在當前文件系統中查看日志，或者在存儲日志所在節點部署日志收集pod，把日志傳輸到日志系統。如下圖所示：

4、日志收集存儲實例

日志存儲和查詢方面比較建議使用ELK（logstash耗費資源較多，建議換成filebeat或者fluentd進行日志收集傳遞）成熟解決方案，因為ES原生支持多租戶的使用場景，支持通過建立不同的索引方式來區分不同用戶，不同業務類型的數據; fluentd在啟動后會根據配置文件中的logstash_prefix，在ES中生成指定前綴的索引，在Kibana界面創建顯示索引時，可以根據之前日志前綴設定匹配和監控產生日志數據，如下圖所示：

針對大規模的持續增長的應用業務日志，在傳統單機業務模式下會存儲固定幾天的數據，在萬物互聯的今天，我們不但需要快速實時的監控集群中的日志數據，更需要將這些數據進行持久化存儲，方便我們基于這些數據進行數據挖掘、統計、分析建模或者根據用戶的行為日志做預測工作，當然這些工作我們可以使用大數據分析解決方案（hadoop+spark）對數據進行具體分析管理。

本次主要介紹了Kubernetes集群模式下三種日志收集模式，結合實際使用場景采用不同的日志收集方案滿足具體需求。

上述就是小編為大家分享的Kubernetes日志收集的解決方案是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。