K8S節點異常怎么辦

K8S節點異常怎么辦，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

節點健康檢測

意義

在K8S集群運行的過程中，節點常常會因為運行時組件的問題、內核死鎖、資源不足等各種各樣的原因不可用。Kubelet默認對節點的PIDPressure、MemoryPressure、DiskPressure等資源狀態進行了監控，但是當Kubelet上報這些狀態的時候，節點很可能已經長時間處于不可用狀態了，并且Kubelet可能已經開始了驅逐Pod的操作。所以原生K8S對節點健康的檢測機制在一些場景下是不完善的，我們需要能夠在節點出現問題之前提前發現，并且需要更加細致化的指標來描述節點的健康狀態并且采取相應的恢復策略，實現智能運維，節省開發和運維人員的負擔。

Node-Problem-Detector

NPD(Node-Problem-Detector) 是Kubernetes社區開源的集群節點的健康檢測組件。NPD提供了通過正則匹配系統日志或文件來發現節點異常的功能。用戶可以通過自己的運維經驗，配置可能產生異常問題日志的正則表達式，選擇不同的上報方式。NPD會解析用戶的配置文件，當有日志能匹配到用戶配置的正則表達式時，可以通過NodeCondition、Event或Promethues Metric等方式將檢測到的異常狀態上報。除了日志匹配功能，NPD還給接受用戶自己編寫的自定義檢測插件，用戶可以開發自己的腳本或可執行文件集成到NPD的插件中，讓NPD定期執行檢測程序。

TKE中的節點健康檢測

在TKE中通過擴展組件的形式集成了NPD，并且對NPD的能力做了增強，稱為NodeProblemDetectorPuls（NPDPlus）擴展組件。用戶可以對已有集群一鍵部署NPDPlus擴展組件，也可以在創建集群的時候選擇在創建集群的同時部署NPDPlus。在騰訊云容器團隊長期運營運維K8S集群的經驗中，提取了一些可以通過特定形式發現節點異常的指標，并且把其中的一些指標集成在了NPDPlus中。例如在NPDPlus容器中檢測Kubelet和Docker的systemd狀態，以及檢測主機的文件描述符和線程數壓力等。具體指標如下所示：

TKE使用NPDPlus的目的是能夠提前發現節點可能不可用狀態，而不是當節點已經不健康后再上報狀態。當用戶在TKE集群中部署了NPDPlus后，使用命令 kubectl describe node 會發現多出了很多Node Condition，如FDPressure表示該節點上已經使用的文件描述符數量是否已經達到機器允許最大值的80%；ThreadPressure表示節點上的線程數是否已經達到機器允許的90%等等。用戶可以監控這些Condition，當異常狀態出現時，提前采取規避策略。

同時，K8S目前認為節點NotReady的機制依賴于kube-controller-manager的參數設定，當節點網絡完全不通的情況下K8S很難在秒級別發現節點的異常，這在一些場景下（如直播、在線會議等）是不能接受的。針對這種場景，NPDPlus中繼承了分布式節點健康檢測功能，可以在秒級快速地檢測節點網絡狀態，以及是否能與其他節點相互通信，同時不依賴與K8S master組件的通信。此功能的實現原理和功能會在之后的文章中詳細介紹。

節點自愈

采集節點的健康狀態是為了能夠在業務Pod不可用之前提前發現節點異常，從而運維或開發人員可以對Docker、Kubelet或節點進行修復。在NPDPlus中，為了減輕運維人員的負擔，提供了根據采集到的節點狀態從而進行不同自愈動作的能力。集群管理員可以根據節點不同的狀態配置相應的自愈能力，如重啟Docker、重啟Kubelet或重啟CVM節點等。同時為了防止集群中的節點雪崩，在執行自愈動作之前做了嚴格的限流，防止節點大規模重啟。同時為了防止集群中的節點雪崩，在執行自愈動作之前做了嚴格的限流。具體策略為：

• 在同一時刻只允許集群中的一個節點進行自愈行為，并且兩個自愈行為之間至少間隔1分鐘

• 當有新節點添加到集群中時，會給節點2分鐘的容忍時間，防止由于節點剛剛添加到集群的不穩定性導致錯誤自愈

• 當節點觸發重啟CVM自愈動作后還處于異常狀態時，則在3小時之內此節點不再執行任何自愈動作

NPDPlus會將執行過的所有自愈動作記錄在Node的Event中，方便集群管理員了解在Node上發生的事件。

使用指南

1. 登錄騰訊云容器服務控制臺，點擊想要創建NPDPlus的集群。

2. 點擊集群詳情頁左側的組件管理，在組件管理中選中NodeProblemDetectorPlus（節點異常檢測Plus）。

3. 配置NodeProblemDetectorPlus參數，可以選擇根據特定節點的狀態執行不同的自愈動作。

4. 選擇確定，點擊完成即可一鍵創建。

5. 在集群的組建管理中查看到NPDPlus運行中說明NPDPlus運行成功：

關于K8S節點異常怎么辦問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。