怎么實現Spark的分布式存儲系統BlockManager全解析

這篇文章將為大家詳細講解有關怎么實現Spark的分布式存儲系統BlockManager全解析，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

BlockManager 是 spark 中至關重要的一個組件，在spark的運行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機制，你才能更加深入的理解 spark。

§ BlockManager是什么？

• BlockManager的作用？我理解是負責做RDD的存儲，如何存下來給后續任務去使用。
  其內部模塊圖如下：

• 圖中看到有個memoryStore和DiskStore，說明把block做存儲時，有內存和磁盤2種方式，存儲后就都i通過這個Store去管理。

• 存儲時以Block為單位，所以會有個映射用的數組

• 有一個負責和Driver的BlockManagerMaster通信的引用接口

• 還有個shuffClient，負責做 備份 和 下載， 即各executor之間會通過shuffClient來做block的傳輸。

§ BlockManager和Driver、executor的關系

其關系如圖：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負責向BMM注冊。

3. spark中注冊消息通過ActorSystem進行發送

§ 把塊block 存入blockManager的流程

比如特殊的2個地方：

1. 試圖put時，會先看下該blockId是否有緩存，有的話直接取過來，否則就重新創建blockInfo

2. 存儲時會先判斷內存是否充足，充足就寫入memoryStore，如果不夠會先釋放再嘗試放入。

§ 從blockManager中刪除塊

刪除的操作沒什么特別的，主要是會判斷一下塊的存儲級別，選擇從不同的store中取塊。

§ shuffClient 下載block操作

BMMAC就是BlockManagerMasterActor,我當初瞎寫的簡稱

• 注意點：當要取的塊來自好幾個BlockManager時， 把它打亂順序，避免好幾個BM同時從某一個BM上下載數據！

§ shuffeClinet的備份操作

• BM為什么要備份他的block？書里作者沒解釋，我的理解是為了防止節點崩潰或者丟失，導致中間任務無法繼續執行？

• 因為其他的BlockManager能接收的block可能有限，所以備份時可能會涉及多個block， 每次我們一樣，從BMmaster那里拿一個 ***隨機***的blockManager做備份，避免都往同一個上備份。

§ BlockManager和Executor、driver的關系：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負責向BMM注冊。

3. spark中注冊消息通過ActorSystem進行發送

關于怎么實現Spark的分布式存儲系統BlockManager全解析就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。