上圖是一個job的提交流程圖,job提交的具體步驟如下 一旦有action,就會觸發DagScheduler.runJob來提交任務,主要是先生成邏輯執行圖DAG,然后調用 finalStage =
上圖是spark框架概要圖,spark一些重要概念先簡要介紹一下: cluster manager:資源管理集群,比如standalone、yarn; application:用戶編寫的應用程序;
億速云公眾號
手機網站二維碼
Copyright ? Yisu Cloud Ltd. All Rights Reserved. 2018 版權所有
廣州億速云計算有限公司粵ICP備17096448號 粵公網安備 44010402001142號增值電信業務經營許可證編號:B1-20181529