溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容介紹了“Spark中RDD依賴分為哪幾種”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
一、以RDD為基石的Spark編程模型
在Spark中一切都是基于RDD的：
什么是RDD呢？官方給出的解釋是：
也就是說每個RDD都至少有以下三個函數實現:
Spark自帶了非常多的RDD:
RDD主要分為兩種：
其中的transformations是lazy execution的，需要具體的action去觸發，每個action操作都是一個單獨的job；
接下來我們看一個具體的RDD操作的例子：
RDD中有兩個比較特殊的RDD:
這兩個RDD的特殊之處在于皆是控制性操作的RDD：
二，RDD的依賴和運行時
在Spark中RDD是具備依賴關系的，而依賴分為兩種：
“Narrow”依賴的一個好處就是可以進行內部的pipeline操作：
運行的時候是以RDD為統一抽象并行化運行：
更進一步的詳細RDD并行化計算過程如下所示：
正如所有的分布式結構一樣，Spark分布式集群也是主從結構的：
Spark運行時組件如下所示：
Spark運行時候的事件流如下所示：
“Spark中RDD依賴分為哪幾種”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
