91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

場景下的交互式計算引擎Impala和Presto是怎樣的

發布時間:2022-01-18 10:51:22 來源:億速云 閱讀:354 作者:柒染 欄目:大數據

今天就跟大家聊聊有關場景下的交互式計算引擎Impala和Presto是怎樣的,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。

應用于ROLAP場景下的交互式計算引擎Impala和Presto

具有以下特點:

1、跟Hadoop生態系統完好結合,可與Hive Metastore對接,處理hive中的表,可直接處理存儲在HDFS和Hbase中的數據。

2、計算與存儲分析:僅僅是查詢引擎,不提供數據存儲服務。

3、MPP架構,采用經典的MPP架構,具有良好的擴展性,能夠應對TB甚至PB級數據交互式查詢需求;

4、嵌套式數據存儲,支持常見的列式存儲格式,比如ORC和Parquet。

Impala:由Cludera公司開發,充分結合傳統數據庫與大數據系統Hadoop的優勢,構造一個全新的、支持SQL與多租戶、并具備良好的靈活性和擴展性的高性能查詢引擎。

一、特征:

1、Impala完全拋棄了MapReduce這個不太適合做SQL查詢的范式,借鑒了MPP并行數據庫思想,采用了全服務進程的設計架構。

2、采用全內存實現,不需要把中間結果寫入磁盤,省掉大量的I/O開銷。

3、充分利用本地讀,盡可能的將數據和計算分配到同一臺機器上。

4、用C++實現,做了很多針對底層的優化,eg:SSE指令。

二、基本架構:

1、Catalogd:元信息管理服務

2、Statestored:狀態管理服務器

3、Impalad:同時承擔協調者和執行這雙重角色。

三、訪問方式

通過JDBC/ODBC訪問,通過Kerberos或LADP進行認證。

Presto:由Facebook公司開源,能夠處理TB甚至PB級別的數據量,由于Presto能與Hive進行無縫集成,因而成為主流的OLAP引擎。

一、基本架構:

是一個Master-Slave架構,由一個Coordinator服務,一個Discovery Server服務,多個Worker服務組成。

1、Coordinator:協調者,接收客戶端查詢請求(SQL)并對齊進行詞法分析,語法分析生成邏輯查詢計劃及物理查詢計劃,將各個任務調度到各位worker上執行,并在worker返回結果后對其進一步匯總。在一個Presto集群中可同時存在多個Coordinator防止單點故障。

2、Discovery Server:服務發現組件,各個Worker啟動時會定期向Discovery Server注冊,并將狀態信息匯報給Discovery Server

3、Worker:任務執行者。

Presto是一個分布式查詢引擎,并不提供數據存儲功能,為此,Presto采用了插件化設計思路,支撐多種數據樣,包括Hive、HDFS、Mysql、Cassanddra、Hbase和Redis等。

二、訪問方式

Presto是插件式架構,通過連接器接入外部數據源,為了區分各個數據源中的數據,它在數據庫之上引入了一層命名空間:catalog,前面提到的Hive、Cassandra和Mysql等在Presto中均以catalog存在。不同的catalog中可以有多個數據庫,每個數據庫中進一步可以存在多張表。

區別于多維度數據組織的MOLAP類型的OLAP查詢引擎Druid和Kylin。

看完上述內容,你們對場景下的交互式計算引擎Impala和Presto是怎樣的有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

东平县| 青岛市| 屏边| 当雄县| 南京市| 辽中县| 鲜城| 湘乡市| 年辖:市辖区| 玉溪市| 德江县| 台东县| 葵青区| 错那县| 南江县| 南乐县| 乐安县| 广河县| 电白县| 虎林市| 理塘县| 丹东市| 开平市| 扬州市| 神农架林区| 原阳县| 定结县| 和林格尔县| 天祝| 修武县| 博乐市| 富川| 新泰市| 上饶市| 枝江市| 青阳县| 武陟县| 余干县| 平乡县| 石渠县| 靖西县|