您好,登錄后才能下訂單哦!
本篇內容介紹了“數據倉庫的基本功能是什么”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
數據倉庫的基本功能包括:1、ETL設計,包括數據的抽取同步、數據清洗、數據轉換;2、數據分層,一般會劃分為ODS層、CM層、ML層;3、數據初步建模。
本教程操作環境:windows7系統、Dell G3電腦。
數據倉庫,英文名稱為Data Warehouse,可簡寫為DW或DWH。數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。它是單個數據存儲,出于分析性報告和決策支持目的而創建。 為需要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。
數據倉庫的基本功能
ETL設計:數據的抽取同步、數據清洗、數據轉換。涉及關系型數據庫(mysql、mariadb、oracle等),文檔型數據庫(mongodb、elasticsearch等)。
數據分層:一般劃分為ODS層、CM層、ML層。ODS層表示未進行加工的數據。CM層表示清洗合并層的數據。
數據初步建模:對應數據分層ML層,一般采用關系模型(雪花模型)或星型模型,形成寬表對外提供數據支持。
涉及技術:HDFS、HIVE、HBASE、MR、SPARK、YARN等。
數據倉庫架構
下圖為工作中參考很多公司的數據架構規劃出的數據架構,僅供參考。
“數據倉庫的基本功能是什么”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。