12、Hive核心概念與原理詳解

關注VX:數據科學講堂，領取教程

1、 Hive核心概念和架構原理

1.1、 Hive概念

Hive由FaceBook開發，用于解決海量結構化日志的數據統計。

Hive是基于Hadoop的數據倉庫工具，可以將結構化數據映射為一張表，提供類似SQL語句查詢功能

本質：將Hive SQL轉化成MapReduce程序。

1.2、Hive與數據庫的區別

讀時模式：Hive在加載數據到表中的時候不會校驗.

寫時模式：Mysql數據庫插入數據到表的時候會進行校驗.

總結：Hive只適合用來做海量離線的數據統計分析，也就是數據倉庫。

1.3、Hive的優缺點

優點：操作接口采用了類SQL語法，提供快速開發的能力，避免了去寫MapReduce；Hive還支持用戶自定義函數，用戶可以根據自己的需求實現自己的函數。

缺點：Hive不支持紀錄級別的增刪改操作；Hive查詢延遲很嚴重；Hive不支持事務。

1.4、Hive架構原理

? (1)用戶接口：CLI（hive shell）；JDBC（java訪問Hive）；WEBUI（瀏覽器訪問Hive）
? (2)元數據：MetaStore
元數據包括：表名、表所屬的數據庫（默認是default）、表的擁有者、列/分區字段，標的類型（表是否為外部表）、表的數據所在目錄。這是數據默認存儲在Hive自帶的derby數據庫中，推薦使用MySQL數據庫存儲MetaStore。
（3）Hadoop集群：
使用HDFS進行存儲數據，使用MapReduce進行計算。
（4）Driver:驅動器：
解析器（SQL Parser）：將SQL字符串換成抽象語法樹AST，對AST進行語法分析，像是表是否存在、字段是否存在、SQL語義是否有誤。
編譯器（Physical Plan）：將AST編譯成邏輯執行計劃。
優化器（Query Optimizer）：將邏輯計劃進行優化。
執行器（Execution）：把執行計劃轉換成可以運行的物理計劃。對于Hive來說默認就是Mapreduce任務。
通過Hive**對數據進行數據分析過程**：

2、 Hive交互方式

需要先啟動hadoop集群和MySQL服務

2.1、Hive交互shell

cd  /opt/bigdata2.7/hive (hive的安裝路徑，根據自己實際情況改變)

bin/hive

? 可以在命令端口寫上HQL語句：show databases;驗證是否可用。

2.2、JDBC交互

輸入hiveserver2相當于開啟了一個服務端，查看hivesever2的轉態

輸入netstat  –nlp命令查看：

?運行hiveserver2相當于開啟了一個服務端，端口號10000，需要開啟一個客戶端進行通信，所以打開另一個窗口，輸入命令beeline.，Beeline連接方式：!connect jdbc:hive2://node1:10000，主意不要省略！

當然了hiveserver2服務端可以運行在后臺：

nohup hiveserver2 &

3、 Hive數據類型

3.1基本數據類型

3.2復合數據類型

? （1）Array字段的元素訪問方式：下標獲取元素，下標從0開始

比如：獲取第一元素：array[0]

（2）Map字段的訪問方式：通過鍵獲取值

比如:獲取a這個key對應的value：map[‘a’]

（3）struct字段的元素獲取方式：

定義一個字段c的類型為struct(a int;b string)

獲取a和b的值：

create table complex(
     col1 array<int>,
     col2 map<string,int>,
     col3 struct<a:string,b:int,c:double>
     )

4、 Hive數據類型轉換

4.1、隱式類型轉換

? 系統自動實現類型轉換，不需要客戶干預

如：tinyint可以轉換成int，int可以轉成bigint

所有整數類型、float、string類型都可以隱式轉轉換成double

tinyint、samllint、int都可以轉成float

boolean不可以轉成其他任何類型

4.2、手動類型轉換

? 可以使用cast函數顯示的進行數據類型轉換

? 例如：cast(‘1’ as int)把字符串’1’轉成整數1

所有整數類型、float、string類型都可以隱式轉轉換成double

tinyint、samllint、int都可以轉成float

boolean不可以轉成其他任何類型

4.2、手動類型轉換

? 可以使用cast函數顯示的進行數據類型轉換

? 例如：cast(‘1’ as int)把字符串’1’轉成整數1

? 如果強制轉換類型失敗，如執行cast(‘x’ as int)表達式返回NULL。