您好,登錄后才能下訂單哦!
本篇內容介紹了“hive組件構架是什么”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
Hive執行流程圖:
【Pratical Hive.pdf】學習筆記,各章節做主線輔以官網資料整理完成。
組件架構
客戶端組件
Hive-cli,
JDBC/ODBC
Toad or SQuirreL
HCatalog
元數據管理組件,主要作用如下
官方介紹
? Provides a common schema environment for multiple tools
? Allows for connectors to tools to read data from and write data to Hive’s warehouse
? Lets users share data across tools
? Creates a relational structure to Hadoop data
? Abstracts away the how and where of data storage
? Hides schema and storage changes from users
hiveServer2
接口服務組件
Execution-Engine
MR
執行引擎組件
Tez
執行引擎組件,省略shuffle過程
Tez avoids disk IO by avoiding expensive shuffle and shorts while leveraging more efficient map side joins. Tez also utilizes a costbased optimizer, which helps produce faster execution plans. Combine this with the ORC file format geared
toward SQL performance and you have a query engine performing up to 100x faster than native MapReduce–
Hive-on-Spark
Storage: Hadoop
基于hdfs文件存儲http://www.0398hfyy.com
“hive組件構架是什么”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。