基于Spark Streaming+Saprk SQL怎么開發OnLineLogAanlysis2

這篇文章將為大家詳細講解有關基于Spark Streaming+Saprk SQL怎么開發OnLineLogAanlysis2，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

1.influxdb創建database
[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339
Connected to http://localhost:8086 version 1.2.0
InfluxDB shell version: 1.2.0
>create database online_log_analysis
 
2.項目中原本想將 influxdb-java https://github.com/influxdata/influxdb-java的InfluxDBTest.java 文件的加到項目中，所以必須要引入 influxdb-java 的包；
但是由于GitHub的上的class文件的某些方法，是版本是2.6，而maven中的最高也就2.5版本，所以將Github的源代碼下載導入到idea中，編譯導出2.6.jar包；
可是 引入2.6jar包，其在InfluxDBTest.class文件的 無法import org.influxdb（百度谷歌很長時間，嘗試很多方法不行）。
最后索性將 influx-java的源代碼全部添加到項目中即可，如下圖所示。
 
3.運行OnLineLogAanlysis2.java
https://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn/java/main/OnLineLogAnalysis2.java

 
比如 logtype_count,host_service_logtype=hadoopnn-01_namenode_WARN count=12
logtype_count 是表
host_service_logtype=hadoopnn-01_namenode_WARN 是 tag--標簽，在InfluxDB中，tag是一個非常重要的部分，表名+tag一起作為數據庫的索引，是“key-value”的形式。 
count=12 是  field--數據，field主要是用來存放數據的部分，也是“key-value”的形式。
tag、field 中間是要有空格的
 
4.influxdb查詢數據 
 

關于基于Spark Streaming+Saprk SQL怎么開發OnLineLogAanlysis2就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。