Presto怎么安裝使用

這篇文章主要介紹“Presto怎么安裝使用”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“Presto怎么安裝使用”文章能幫助大家解決問題。

一、什么是Presto？

• 背景知識：Hive的缺點和Presto的背景

Hive使用MapReduce作為底層計算框架，是專為批處理設計的。但隨著數據越來越多，使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時，顯然不能滿足交互式查詢的需求。Presto是一個分布式SQL查詢引擎，它被設計為用來專門進行高速、實時的數據分析。它支持標準的ANSI SQL，包括復雜查詢、聚合（aggregation）、連接（join）和窗口函數（window functions)。這其中有兩點就值得探究，首先是架構，其次自然是怎么做到低延遲來支持及時交互。

• PRESTO是什么？

Presto是一個開源的分布式SQL查詢引擎，適用于交互式分析查詢，數據量支持GB到PB字節。Presto的設計和編寫完全是為了解決像Facebook這樣規模的商業數據倉庫的交互式分析和處理速度的問題。

• 它可以做什么？

Presto支持在線數據查詢，包括Hive, Cassandra, 關系數據庫以及專有數據存儲。 一條Presto查詢可以將多個數據源的數據進行合并，可以跨越整個組織進行分析。Presto以分析師的需求作為目標，他們期望響應時間小于1秒到幾分鐘。 Presto終結了數據分析的兩難選擇，要么使用速度快的昂貴的商業方案，要么使用消耗大量硬件的慢速的“免費”方案。

• 誰在使用它？

Facebook使用Presto進行交互式查詢，用于多個內部數據存儲，包括300PB的數據倉庫。 每天有1000多名Facebook員工使用Presto，執行查詢次數超過30000次，掃描數據總量超過1PB。領先的互聯網公司包括Airbnb和Dropbox都在使用Presto。

二、Presto的體系架構

Presto是一個運行在多臺服務器上的分布式系統。 完整安裝包括一個coordinator和多個worker。 由客戶端提交查詢，從Presto命令行CLI提交到coordinator。 coordinator進行解析，分析并執行查詢計劃，然后分發處理隊列到worker。

Presto查詢引擎是一個Master-Slave的架構，由一個Coordinator節點，一個Discovery Server節點，多個Worker節點組成，Discovery Server通常內嵌于Coordinator節點中。Coordinator負責解析SQL語句，生成執行計劃，分發執行任務給Worker節點執行。Worker節點負責實際執行查詢任務。Worker節點啟動后向Discovery Server服務注冊，Coordinator從Discovery Server獲得可以正常工作的Worker節點。如果配置了Hive Connector，需要配置一個Hive MetaStore服務為Presto提供Hive元信息，Worker節點與HDFS交互讀取數據。

三、安裝Presto Server

• 安裝介質

• 安裝配置Presto Server

　　1、解壓安裝包

 　　2、創建etc目錄

　　3、需要在etc目錄下包含以下配置文件

• 編輯node.properties

• 編輯jvm.config

由于OutOfMemoryError將會導致JVM處于不一致狀態，所以遇到這種錯誤的時候我們一般的處理措施就是收集dump headp中的信息（用于debugging），然后強制終止進程。Presto會將查詢編譯成字節碼文件，因此Presto會生成很多class，因此我們我們應該增大Perm區的大小（在Perm中主要存儲class）并且要允許Jvm class unloading。

• 編輯config.properties

　　　　coordinator的配置

　　　　workers的配置

　　　　如果我們想在單機上進行測試，同時配置coordinator和worker，請使用下面的配置：

　　　　參數說明：

• 編輯log.properties

　　　　配置日志級別。

• 配置Catalog Properties

Presto通過connectors訪問數據。這些connectors掛載在catalogs上。 connector可以提供一個catalog中所有的schema和表。例如：Hive connector 將每個hive的database都映射成為一個schema，所以如果hive connector掛載到了名為hive的catalog， 并且在hive的web有一張名為clicks的表， 那么在Presto中可以通過hive.web.clicks來訪問這張表。通過在etc/catalog目錄下創建catalog屬性文件來完成catalogs的注冊。 如果要創建hive數據源的連接器，可以創建一個etc/catalog/hive.properties文件，文件中的內容如下，完成在hivecatalog上掛載一個hiveconnector。

 注意：要訪問Hive的話，需要將Hive的MetaStore啟動：hive --service metastore

四、啟動Presto Server

五、運行presto-cli

• 下載：presto-cli-0.217-executable.jar

• 重命名jar包，并增加執行權限

• 連接Presto Server

六、使用Presto

• 使用Presto操作Hive

• 使用Presto的Web Console：端口：8080

• 使用JDBC操作Presto

　　　　1、需要包含的Maven依賴

　　　　2、JDBC代碼

*******************************************************************************************

關于“Presto怎么安裝使用”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。