Hive與es數據如何導入和導出

這篇文章給大家分享的是有關Hive與es數據如何導入和導出的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

1. 將兩個jar包添加到Hive的 hive.aux.jars.path目錄

<dependency>
	<groupId>org.elasticsearch</groupId>
	<artifactId>elasticsearch-hadoop</artifactId>
	<version>6.6.2</version>
</dependency>
<dependency>
	<groupId>commons-httpclient</groupId>
	<artifactId>commons-httpclient</artifactId>
	<version>3.1</version>
</dependency>

在hive中創建es索引的外聯表

create external table charge_current_frequency_es
(
    province               string,
    vehicleType            string,
    vin                    string,
    chargeType             string,
    chargeCurrentFrequency array<bigint>,
    statis_time            string
) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
    location '/warningplatform.db/ads/charge_current_frequency_es'
    TBLPROPERTIES ('es.resource' = 'charge_current_frequency/charge_current_frequency',
        'es.mapping.names' =
                'province:province,vehicleType:vehicleType,vin:vin,chargeType:chargeType,chargeCurrentFrequency:chargeCurrentFrequency,statis_time:time',
        'es.nodes' = '192.168.11.29',
        'es.port' = '9200'
        );

• 指定hive與es字段的匹配規則

• hive中的string可以寫入es的date類型，格式可以是yyyy-MM-dd HH:mm:ss，但是hive讀取es數據的時候，不能以string類型去接收es中date類型且格式為yyyy-MM-dd HH:mm:ss的字段。

• 對hive的插入和查詢，即為對es索引的插入和查詢。

3. 類型匹配

感謝各位的閱讀！關于“Hive與es數據如何導入和導出”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！