Hive和HBase怎么整合

這篇文章將為大家詳細講解有關Hive和HBase怎么整合，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Hive和Hbase有各自不同的特征：hive是高延遲、結構化和面向分析的，hbase是低延遲、非結構化和面向編程的。Hive數據倉庫在hadoop上是高延遲的。Hive集成Hbase就是為了使用hbase的一些特性。

Hive繼承HBase可以有效利用HBase數據庫的存儲特性，如行更新和列索引等。在集成的過程中注意維持HBase  jar包的一致性。Hive集成HBase需要在Hive表和HBase表之間建立映射關系，也就是Hive表的列和列類型與HBase表的列族及列限定詞建立關聯。每一個在Hive表中的域都存在與HBase中，而在Hive表中不需要包含所有HBase中的列。HBase中的rowkey對應到Hive中為選擇一個域使用  :key 來對應，列族(cf:)映射到Hive中的其他所有域，列為(cf:cq)。

下面來簡單實戰下：

創建HBase表

create 'user1',{NAME => 'info',VERSIONS => 1}

向user表中插入一些數據

put 'user1','1','info:name','zhangsan' put 'user1','1','info:age','25' put 'user1','2','info:name','lisi' put 'user1','2','info:age','22' put 'user1','3','info:name','wangswu' put 'user1','3','info:age','21'

使用scan命令來查看下user表中的數據

scan 'user';

結果如下

ROW COLUMN+CELL

1 column=info:age, timestamp=1476773051604, value=25

1 column=info:name, timestamp=1476773046344, value=zhangsan

2 column=info:age, timestamp=1476773051685, value=22

2 column=info:name, timestamp=1476773051661, value=lisi

3 column=info:age, timestamp=1476773052632, value=21

3 column=info:name, timestamp=1476773051709, value=wangswu

3 row(s) in 0.0610 seconds

創建Hive中與HBase中對應的表

SET hbase.zookeeper.quorum=hadoop001; SET zookeeper.znode.parent=/hbase; ADD jar /opt/bigdata/hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar; // user1表 CREATE EXTERNAL TABLE user1 ( rowkey string, info map<STRING,STRING> ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:") TBLPROPERTIES ("hbase.table.name" = "user1"); // user2表 CREATE EXTERNAL TABLE user2 ( rowkey string, name string, age int ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age") TBLPROPERTIES ("hbase.table.name" = "user2");

查詢user1，user2表數據

查詢user1表數據

select * from user1;

結果如下

OK 1       {"age":"25","name":"zhangsan"} 2       {"age":"22","name":"lisi"} 3       {"age":"21","name":"wangswu"} Time taken: 0.467 seconds, Fetched: 3 row(s)

查詢user2表數據

select * from user2;

結果如下:

OK  1 zhangsan 25  2 lisi 22  3 wangswu 21  Time taken: 0.087 seconds, Fetched: 3 row(s)

hive插入數據到hbase

INSERT INTO TABLE user1 SELECT '4' AS rowkey, map('name','lijin','age','22') AS info from dual limit 1;

關于“Hive和HBase怎么整合”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。