91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
  • 首頁 > 
  • 教程 > 
  • 數據庫 > 
  • 構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

發布時間:2020-08-11 06:50:48 來源:ITPUB博客 閱讀:253 作者:代碼派就是我 欄目:數據庫

阿里云分析型數據庫重磅推出基礎版,極大降低了用戶構建數據倉庫門檻。高度兼容MySQL,極低的使用成本和極高的性能,使中小企業也可以輕松的搭建一套實時數據倉庫,實現企業數據價值在線化。

AnalyticDB for MySQL的產品系列包括基礎版(單機版)和集群版,基礎版為單個節點提供服務,極簡的架構大大的降低了基礎版的成本。存儲計算分離架構、行列混存技術、輕量的索引構建方式和分布式混合計算引擎又保證了基礎版強大的分析性能。年成本不到一萬就可以構建一套實時數據倉庫,無需成立專門的大數據團隊,為企業節省百萬成本。

1.基礎版技術架構

如下為基礎版架構圖,整體由Coordinator和Worker組成,各自的職責如下介紹。

構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

1.1 Coordinator: 前端控制節點,職責包括

(1)MySQL協議層接入,SQL解析

(2)認證和鑒權,提供了更完善和細化的權限體系模型,白名單和集群級別RAM控制,并審計與合規記錄所有SQL操作。

(3)集群管理:成員管理、元數據、數據一致性、路由同步、備份與恢復(數據與log管理)

(4)后臺異步任務管理

(5)事務管理

(6)優化器,執行計劃生成

(7)計算調度,負責執行任務調度

1.2 Worker: 存儲和計算節點,包含

(1)計算模塊

分布式MPP+DAG混合計算引擎和優化器達到了更高的復雜計算能力和混合負載管理能力。利用阿里云計算平臺之上資源靈活調度上的優勢,實現了計算資源的彈性調度。計算 Worker節點可以單獨拉起,因應業務需求做到分鐘級甚至秒級擴展,實現資源的最有效利用。

(2)存儲模塊

存儲模塊更加輕量化,具備了承載更大吞吐數據實時寫入和讀取能力,寫入性能比之前版本同等規格高50%倍左右,毫秒級可見,滿足客戶實時分析需求。

存儲節點提供全量和增量備份和恢復能力,云盤的定期快照和日志會實時同步到OSS中保存,對用戶數據提供更高的安全保障,幫助用戶在數據庫發生問題時最大限度的找回。

(3)Worker Group

帶存儲模塊的Worker節點被劃分為一個個節點組(Worker Group),集群版提供三副本的存儲,通過Raft分布式一致性協議像一個整體一樣工作,允許其中一些Worker節點出現故障也能繼續提供服務,基礎版只有單副本提供服務。

2. 基礎版優化器

優化器負責對Parser生成的語法樹進行處理,通過優化算法生成代價最優的計劃提供給計算引擎。計劃代價直接影響查詢性能,因此優化器是數據庫中最核心的模塊之一。基礎版采用了與集群版一樣強大的優化器,包含基于規則、基于代價、和基于模式的多種復合優化技術。

構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

復雜分析型查詢經常包含多表join,表的join順序直接影響查詢性能。AnalyticDB優化器采用了基于代價估算和實時采樣信息的join order優化算法,能夠感知底層存儲的數據分布。優化器利用AnalyticDB全索引特征提高了過濾因子(filter factor)估算的準確性。針對復雜join,優化器基于數據分布信息動態調整join order,同時評估數據reshuffling的代價,來從全局代價的維度選擇最優的執行計劃。

AnalyticDB優化器在經典基于規則優化器(Rule-Based Optimizer)的基礎上增加了代價估算和迭代優化,并且集成了Cascades CBO(Cost-Based Optimizer)優化框架。CBO搜索框架會調用 Property Enforcement模塊生成分布式執行計劃,然后調用代價估算模塊,給每一種候選計劃評估代價,選擇最優的分布式執行計劃。為了進一步提高join order的優化效果和效率,AnalyticDB優化器還采用了基于歷史信息的優化技術(History-Based Optimizer)、基于常見SQL模式的動態優化技術(Pattern-Based Optimizer),以及數據驅動的智能技術,例如Auto Analyze模塊自動搜集統計信息,為優化器搜索最佳計劃提供準確的數據支持。

此外,AnalyticDB優化器還針對復雜查詢中經常出現的組合過濾條件、聚合算子、關聯子查詢等進行了一系列優化處理以提升性能。比如下推優化技術將計劃中的過濾條件和聚合算子盡量推到整個鏈路的底層模塊去執行,不但提高底層算子的效率,也減少了上游算子要處理的數據量,提高整體查詢性能。針對關聯子查詢語句,優化器通過關系代數轉化,將關聯子查詢改寫為語義等價的非關聯計劃,使得計算引擎可以高效流水線處理。

3.基礎版計算引擎

構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

AnalyticDB計算引擎采用大規模并行處理MPP+DAG體系結構和基于內存的pipeline執行模式,具有高并發、低延遲的特點。為了加快對復雜表達式的求值速度,優化執行性能,計算引擎通過Runtime Codegen在運行時生成JVM bytecode,動態加載生成對象的實例,減少了執行過程中虛函數調用,提高了CPU-Intensive任務的效率。計算引擎還采用向量化執行模型處理表達式求值,利用CPU SIMD指令集來加速求值計算。

4.基礎版存儲引擎

構建實時數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL技術解密

AnalyticDB存儲引擎采用行列混合存儲的設計。如圖所示。對于一張表的每k行數據(Row Group),每列數據連續的存放在單獨的Data Block中,每行組的列Block的在磁盤上連續存放。行組內列Block的數據可按指定列排序存放,可以在按該列查詢時顯著減少磁盤隨機IO次數。這種設計的獨特優勢是兼具了行存(適合OLTP點查詢)和列存(適合OLAP多維分析)的長處,很好的滿足了不同類型workload的需求:

  • 針對OLTP類型的點查詢需要select出一整行的明細數據,行列混存設計下將列存的完全隨機讀轉化為了順序讀
  • 針對OLAP類型的多維分析:不僅解決了海量數據統計分析下行存的讀放大問題,而且進行單列IO時將列存的順序讀轉化為了順序跳讀,進行多列IO時則將隨機讀轉化為了順序讀
  • 寫入大吞吐:列存時的隨機寫被轉化為了順序寫

AnalyticDB存儲引擎采用智能全索引,對每列數據建立一個值到行號的倒排索引。查詢時,將SQL多個條件表達式的AND、OR 轉換成Boolean Query同時走索引,通過搜索得到滿足where條件的結果集行號,支持快速多路合并,能夠在毫秒級別找出滿足條件的結果集。

5.基礎版優勢

基礎版大幅度降低了用戶構建數據倉庫門檻,與大數據(Hadoop,Spark和EMR)和OLTP建倉方式相比都有超高的性價比。

(1)降低使用門檻

基礎版最低1.75元/小時,860元/月,與集群版相比,起步價降低了約三分之一。磁盤空間僅0.6元/GB,磁盤空間上限最大為4T,可以隨時按需擴展,大大降低中小企業復雜分析和構建實時數倉的使用門檻。

(2) 性能高

同等配置下其數據查詢性能約為MySQL的10倍,很好地幫助用戶解決MySQL復雜分析慢的痛點。

(3)規格豐富

基礎版支持四種規格:T8、T16、T32和T52,可以根據業務的不同要求選擇規格和任意調整規格。

(4)生態透明

上下游生態完全兼容集群版,對用戶透明。

6.適合客戶

特別適合以下人群:

(1)Hadoop/Spark等太復雜,想快速實現數據化轉型的中小型企業;

(2)報表數據庫查詢慢,有交互式BI分析訴求的中小型企業;

(3)需要快速構建測試環境的進行數倉選型的用戶;

(4)學習類人群,可快速了解AnalyticDB for MySQL的用戶;

了解更多

觀看直播: https://developer.aliyun.com/live/2528
產品詳情: https://promotion.aliyun.com/ntms/act/adbformysqljichuban.html

存儲  SQL  分布式計算  關系型數據庫  MySQL  OLAP  OLTP  調度  數據庫  索引

版權聲明: 本文中所有內容均屬于阿里云開發者社區所有,任何媒體、網站或個人未經阿里云開發者社區協議授權不得轉載、鏈接、轉貼或以其他方式復制發布/發表。申請授權請郵件developerteam@list.alibaba-inc.com,已獲得阿里云開發者社區協議授權的媒體、網站,在轉載使用時必須注明"稿件來源:阿里云開發者社區,原文作者姓名",違者本社區將依法追究責任。 如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至:developer2020@service.aliyun.com 進行舉報,并提供相關證據,一經查實,本社區將立刻刪除涉嫌侵權內容。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

漳州市| 澄城县| 阳城县| 定南县| 淮阳县| 南靖县| 威信县| 平定县| 漯河市| 蒲城县| 凤城市| 益阳市| 仁布县| 九龙城区| 乌兰浩特市| 信宜市| 汝城县| 南召县| 潜江市| 贵阳市| 南丹县| 延津县| 嘉禾县| 常州市| 准格尔旗| 阿拉善盟| 同德县| 高要市| 康保县| 宜良县| 含山县| 屯留县| 阳谷县| 聂拉木县| 昌乐县| 宁津县| 温宿县| 淮阳县| 延长县| 房产| 漳平市|