如何解析Spark集群和任務執行過程

發布時間：2021-12-17 09:23:02 來源：億速云閱讀：127 作者：柒染欄目：大數據

本篇文章給大家分享的是有關如何解析Spark集群和任務執行過程，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

Spark集群組件

Spark是典型的Master/Slave架構，集群主要包括以下4個組件：

Driver：Spark框架中的驅動器，運行用戶編寫Application 的main()函數。類比于MapReduce的MRAppmaster

Master：主節點，控制整個集群，監控worker。在Yarn模式中為全局資源管理器

Worker：從節點，負責控制計算節點，啟動Executor。類比Yarn中的節點資源管理器

Executor：運算任務執行器，運行在worker節點上的一個進程。類似于MapReduce中的MapTask和ReduceTask

Spark基本執行流程

以StandAlone運行模式為例：

如何解析Spark集群和任務執行過程

1.客戶端啟動應用程序及Driver相關工作，向Master提交任務申請資源

2.Master給Worker分配資源，通知worker啟動executor

3.Worker啟動Executor，Worker創建ExecutorRunner線程，ExecutorRunner會啟動ExecutorBackend進程，Executor和Driver進行通信（任務分發監聽等）

4.ExecutorBackend啟動后向Driver的SchedulerBackend注冊，SchedulerBackend將任務提交到Executor上運行

5.所有Stage都完成后作業結束

筆者強調：

Spark不同運行模式任務調度器是不同的，如Yarn模式：yarn-cluster模式為YarnClusterScheduler，yarn-client模式為YarnClientClusterScheduler

以上就是如何解析Spark集群和任務執行過程，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。

向AI問一下細節

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本