在Spark中,作業(Job)是由一組相互關聯的任務(Task)組成的。作業是用戶提交給Spark的一個完整的計算任務,它通常由多個階段(Stage)組成,而每個階段又包含多個任務。任務是作業的最小執行單元,它在集群中的不同節點上并行執行,以實現作業的并行計算。Spark會根據作業的依賴關系和數據分區情況,將作業拆分成多個階段,并將每個階段劃分為多個任務來執行,從而實現高效的并行計算。因此,作業和任務之間是一種層次關系,任務是作業的基本執行單位,而作業是由多個任務組成的一個大的計算任務。
億速云公眾號
手機網站二維碼
Copyright ? Yisu Cloud Ltd. All Rights Reserved. 2018 版權所有
廣州億速云計算有限公司粵ICP備17096448號-1 粵公網安備 44010402001142號增值電信業務經營許可證編號:B1-20181529