您好,登錄后才能下訂單哦!
把stage生成的每個task創建一個taskset對象
雙重for循環,遍歷所有taskset,以及每種本地化級別
本地化級別有:
1.process_local:進程本地化RDD的partition和task進入同一個executor中,速度最快
2.node_local:RDD的partition和task不在一個executor上,但是在一個worker上
3.NO_PERF:沒有所謂的本地化級別
4.RACK_LOCAL:機架本地化,至少RDD的partition和task在一個機架上
5.任意本地化級別
task優先選擇最優的本地化級別
調用tasksetmanager的resourceOffer方法,去找到在這個executor上,哪些task可以啟動,
放入taskset數組給指定的executor啟動task
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。