91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

大數據的數倉平臺設計思路是什么

發布時間:2021-12-23 16:13:19 來源:億速云 閱讀:138 作者:iii 欄目:軟件技術

這篇文章主要講解了“大數據的數倉平臺設計思路是什么”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“大數據的數倉平臺設計思路是什么”吧!

下圖為數倉整體的技術架構:

大數據的數倉平臺設計思路是什么

一個優秀可靠的數倉,一定要結構、分層清晰,而不是越多的分層和主題越好,保障清晰的狀態下,能夠快速找到數據的位置。主題域的劃分,完全可按照公司內部的業務線和結構去劃分。

圖中BDL層,作為緩沖數據層,其實就是貼數據層,和源數據表相同的表。直接用源庫(傳統關系型業務庫)抽取數據,只存每天最新的數據快照(主要是增量數據)

BAK層是BDL層抽數,保存的是全歷史業務數據,起備份和查錯的作用。

FDL層是基礎數據層,是基于主題、數倉模型開發的基礎數據表。這里主要用到了范式建模法和維度建模法(即星型模型)包含最細粒度的數據,故稱基礎數據層,通俗的理解,這才是整個數倉的最核心的基礎數據層,因為BAK層和BDL層的數據表結構跟業務庫的數據是完全一致的,而FDL層的數據才是開始進行真正意義上的第一次清洗,不要的字段去除,不規范的字段命名去除,統一數據,規范標準化的一個過程。

GDL層是通用數據層,就是寬表層。也是基于主題、數倉模型開發的寬表。可能會犧牲第三范式,將相關的各維度或屬性整合到一張表里。這種表的特點就是字段較多,數據量較大,但它能幫助消除重復查詢。由于這種表會被各種需求用到,故稱通用數據層。

ADL層是匯總數據層,是基于主題、數倉模型開發的匯總數據表。這里只用到維度建模法(即星型模型)。指標庫可以放到這一層。

APP層是開放給用戶,用戶可以在此層自己開發數據,提數。給用戶的脫敏數據也可以放到這一層。我們開發的數據產品所需數據也可以在這一層做。

還有兩層比較特殊: 
一個是TMP(臨時層),說白了就是存儲中間結果表,有些業務場景比較復雜,需要拆表,多次計算,要用到一些中間結果集表,因此這層也是輔助層。

DIM層是維表層,各種時間維,省市區維度都可以存放,根據公司的業務形態去劃分,ADL層可以跟DIM層的多維度關聯,做各種報表,手到擒來。

以下是數據倉庫數據流架構圖: 
大數據的數倉平臺設計思路是什么

感謝各位的閱讀,以上就是“大數據的數倉平臺設計思路是什么”的內容了,經過本文的學習后,相信大家對大數據的數倉平臺設計思路是什么這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

衡南县| 莱西市| 内乡县| 乌审旗| 漾濞| 肇源县| 长垣县| 长岛县| 武穴市| 洪江市| 百色市| 南阳市| 信丰县| 通榆县| 湘乡市| 平罗县| 峡江县| 咸阳市| 溧水县| 红原县| 山东| 平山县| 开化县| 新干县| 界首市| 延津县| 鄂州市| 胶州市| 余姚市| 定兴县| 遵化市| 施秉县| 昌邑市| 泉州市| 岚皋县| 金堂县| 衢州市| 江口县| 新余市| 乌兰县| 邵武市|