如何基于 Pulsar + Flink 構建下一代實時數據倉庫

發布時間：2021-12-22 14:53:56 來源：億速云閱讀：227 作者：柒染欄目：大數據

本篇文章給大家分享的是有關如何基于 Pulsar + Flink 構建下一代實時數據倉庫，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

如需構建實時數倉，對數據存儲層而言，還是存在一定難度這體現在云原生架構的兼容性和數據存儲組織的復雜度。

1、Pulsar 是一個云原生的架構。Pulsar 內部分成兩層，上層是無狀態 Broker，下層是持久化的存儲層 Bookie 集群，而且 Pulsar 存儲是分片的，這種構架可以避免擴容時受限制。

2、Pulsar 的分層存儲（tiered storage）無需用戶顯式遷移數據，減少存儲成本并保持近似無限的存儲。

3、Pulsar 提供內置 Schema，可以保持服務器端數據的一致性，也能直接接受和發送類型數據。

如何基于 Pulsar + Flink 構建下一代實時數據倉庫

實時數倉的架構

在元數據服務層面，翻譯層將 Pulsar 的元數據以數據庫語義表達，同時提供對 Pulsar 元數據的查詢和修改；而在基本映射層面，實現 Tenant/namespace → Database、Topic → Table、Topic Schema → Table Schema 的映射狀態。

加上靈活的數據讀取模式，Segment Read、Stream Read 和 Sub-Stream Read，實現最終的數倉構建。

StreamNative 已經開源了基于 Flink 1.9.0 和 Pulsar 2.4.0 的 Pular Flink Connector，實現了 exactly-once 語義的 Source 和 at-least-once 語義的 Sink。

同時，基于 Pulsar 的內置 Schema 支持，提供了 Topic 內消息的自動序列化、反序列化。Pulsar Flink Connector 從本質上也是在利用 Pulsar Client API 操作 Pulsar，一些 connector 實現的相關思考可能同時對大家使用 Pulsar 有所幫助。

? 持久化、可重放的數據源

流處理過程中出現一些故障是無法避免的，Flink 借助 checkpoint 機制將 Task 從故障中恢復。Pulsar broker 默認會刪除所有被確認的消息，但在流處理的執行期，我們無法得知作業何時會出錯，因此不能在讀到消息后就直接確認。

通過維護一個作業級的訂閱，Flink Pulsar Connector 在收到 Flink checkpoint 的完成通知后確認消息，同時避免消息被過早刪除。

? 結構化數據存取

將 Pulsar topic 看作是一張有結構的表，在任務調度期獲取表 Schema 定義。

Pulsar Flink Connector 支持 avro/json/protobuf 的消息轉換，同時將消息元數據轉化為表的內部列。

? Topic 和 Partition 發現

流處理作業是長時間運行的，在作業執行期間，topic 可能被添加或刪除。因此，我們利用一個額外的監控線程階段性檢查 topic 的增加或刪除，并為新增 topic 啟動新的消費線程。

以上就是如何基于 Pulsar + Flink 構建下一代實時數據倉庫，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。

向AI問一下細節

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

如何基于 Pulsar + Flink 構建下一代實時數據倉庫

猜你喜歡

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

如何基于 Pulsar + Flink 構建下一代實時數據倉庫

猜你喜歡

最新資訊

相關推薦

相關標簽