Elasticsearch數據同步工具怎么用

本篇內容主要講解“Elasticsearch數據同步工具怎么用”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Elasticsearch數據同步工具怎么用”吧!

導入maven坐標

<dependency>
  <groupId>com.bbossgroups.plugins</groupId>
  <artifactId>bboss-elasticsearch-rest-kafka2x</artifactId>
  <version>5.9.9</version>
  <scope>compile</scope>
</dependency>

構建部署

準備工作

需要通過gradle構建發布版本,gradle安裝配置參考文檔

下載源碼工程-基于gradle

從上面的地址下載源碼工程，然后導入idea或者eclipse，根據自己的需求，修改導入程序邏輯

org.frameworkset.elasticsearch.imp.Kafka2ESdemo

如果需要測試和調試導入功能，運行Kafka2ESdemo的main方法即可即可：

public class Dbdemo {
	public static void main(String args[]){
		Kafka2ESdemo dbdemo = new Kafka2ESdemo();
		boolean dropIndice = true;//CommonLauncher.getBooleanAttribute("dropIndice",false);//同時指定了默認值

		dbdemo.scheduleTimestampImportData(dropIndice);
	}
    .....
}

修改es配置-kafka2x-elasticsearch\src\main\resources\application.properties

修改完畢配置后，就可以進行功能調試了。

測試調試通過后，就可以構建發布可運行的版本了：進入命令行模式，在源碼工程根目錄kafka2x-elasticsearch 下運行以下gradle指令打包發布版本

release.bat

運行作業

gradle構建成功后，在build/distributions目錄下會生成可以運行的zip包，解壓運行導入程序

linux：

chmod +x restart.sh

./restart.sh

windows: restart.bat

作業jvm配置

修改jvm.options，設置內存大小和其他jvm參數

-Xms1g

-Xmx1g

作業參數配置

在使用kafka2x-elasticsearch 時，為了避免調試過程中不斷打包發布數據同步工具，可以將部分控制參數配置到啟動配置文件resources/application.properties中,然后在代碼中通過以下方法獲取配置的參數：

#工具主程序
mainclass=org.frameworkset.elasticsearch.imp.Kafka2ESdemo

# 參數配置
# 在代碼中獲取方法：CommonLauncher.getBooleanAttribute("dropIndice",false);//同時指定了默認值false
dropIndice=false

在代碼中獲取參數dropIndice方法：

boolean dropIndice = CommonLauncher.getBooleanAttribute("dropIndice",false);//同時指定了默認值false

另外可以在resources/application.properties配置控制作業執行的一些參數，例如工作線程數，等待隊列數，批處理size等等：

queueSize=50
workThreads=10
batchSize=20

在作業執行方法中獲取并使用上述參數：

int batchSize = CommonLauncher.getIntProperty("batchSize",10);//同時指定了默認值
int queueSize = CommonLauncher.getIntProperty("queueSize",50);//同時指定了默認值
int workThreads = CommonLauncher.getIntProperty("workThreads",10);//同時指定了默認值
importBuilder.setBatchSize(batchSize);
importBuilder.setQueue(queueSize);//設置批量導入線程池等待隊列長度
importBuilder.setThreadCount(workThreads);//設置批量導入線程池工作線程數量

到此，相信大家對“Elasticsearch數據同步工具怎么用”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！