怎么安裝presto sql引擎訪問kudu數據

這篇文章主要講解了“怎么安裝presto sql引擎訪問kudu數據”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么安裝presto sql引擎訪問kudu數據”吧！

    Presto是一種用于大數據的高性能分布式SQL查詢引擎。其架構允許用戶查詢各種數據源，如Hadoop，AWS S3，Alluxio，MySQL，Cassandra，Kafka和MongoDB，甚至可以在單個查詢中查詢來自多個數據源的數據，真是功能強大。

    這里梳理一下安裝過程，官網http://prestodb.github.io/，上篇已經寫了怎么安裝kudu，之下是我安裝presto的過程：

    在官網先下載presto-server-0.225.tar.gz和presto-cli-0.225-executable.jar

    解壓之后，在該文件夾下添加相應的配置：

在 presto-server-0.90 目錄創建 etc 目錄，并創建以下文件：

• node.properties：每個節點的環境配置

• jvm.config：jvm 參數

• config.properties：配置 Presto Server 參數

• log.properties：配置日志等級

• Catalog Properties：Catalog 的配置

    etc/node.properties 示例配置如下：

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

參數說明：

• node.environment：環境名稱。一個集群節點中的所有節點的名稱應該保持一致。

• node.id：節點唯一標識的名稱。

• node.data-dir：數據和日志存放路徑。

    etc/jvm.config 示例配置如下：

-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

    etc/config.properties 包含 Presto Server 相關的配置，每一個 Presto Server 可以通時作為 coordinator 和 worker 使用。

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8090
discovery-server.enabled=true
discovery.uri=http://cdh2:8090

參數說明：

• coordinator：Presto 實例是否以 coordinator 對外提供服務

• node-scheduler.include-coordinator：是否允許在 coordinator 上進行調度任務

• http-server.http.port：HTTP 服務的端口

• discovery-server.enabled：是否使用 Discovery service 發現集群中的每一個節點。

• discovery.uri：Discovery server 的 url

    不要加這條配置task.max-memory=1GB，不然會報錯，具體不知道為什么解析有問題。

    etc/log.properties 可以設置某一個 java 包的日志等級：

com.facebook.presto=INFO

    關于 Catalog 的配置，首先需要創建 etc/catalog 目錄，然后根據你想使用的連接器來創建對應的配置文件，比如，你想使用 jmx 連接器，則創建 jmx.properties：

connector.name=jmx

    如果你想使用 kudu 的連接器，則在 etc/catalog 創建 kudu.properties：

connector.name=kudu
kudu.client.master-addresses=localhost:7051

    可以看到在presto的根目錄下有很多連接器：

    這里我們啟動一下sudo bin/launcher run，sudo bin/launcher start可與后臺運行

    然后我們可以使用presto-cli-0.225-executable.jar來操作,當然我把這么長的jar縮短一下改成presto-cli，為了方面用

    ./presto-cli --server localhost:8090 --catalog kudu --schema default

    上面那那個users是我這樣創建的：

    然后像使用sql查詢一樣，插入兩條數據并且查詢：

感謝各位的閱讀，以上就是“怎么安裝presto sql引擎訪問kudu數據”的內容了，經過本文的學習后，相信大家對怎么安裝presto sql引擎訪問kudu數據這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！