分布式任務調度平臺XXL-JOB的功能有哪些

這篇文章主要講解了“分布式任務調度平臺XXL-JOB的功能有哪些”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“分布式任務調度平臺XXL-JOB的功能有哪些”吧！

基本介紹

項目開發中，常常以下場景需要分布式任務調度：

• 同一服務多個實例的任務存在互斥時，需要統一協調

• 定時任務的執行需要支持高可用、監控運維、故障告警

• 需要統一管理和追蹤各個服務節點定時任務的運行情況，以及任務屬性信息，例如任務所屬服務、所屬責任人

因此，XXL-JOB應運而生： XXL-JOB是一個開源的輕量級分布式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展、開箱即用，其中“XXL”是主要作者，大眾點評許雪里名字的縮寫

自2015年開源以來，已接入數百家公司的線上產品線，接入場景涉及電商業務，O2O業務和大數據作業等

功能特性

主要功能特性如下：

• 簡單靈活 提供Web頁面對任務進行管理，管理系統支持用戶管理、權限控制； 支持容器部署； 支持通過通用HTTP提供跨平臺任務調度；

• 豐富的任務管理功能 支持頁面對任務CRUD操作； 支持在頁面編寫腳本任務、命令行任務、Java代碼任務并執行； 支持任務級聯編排，父任務執行結束后觸發子任務執行； 支持設置任務優先級； 支持設置指定任務執行節點路由策略，包括輪詢、隨機、廣播、故障轉移、忙碌轉移等； 支持Cron方式、任務依賴、調度中心API接口方式觸發任務執行

• 高性能 調度中心基于線程池多線程觸發調度任務，快任務、慢任務基于線程池隔離調度，提供系統性能和穩定性； 任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峰；

• 高可用 任務調度中心、任務執行節點均 集群部署，支持動態擴展、故障轉移 支持任務配置路由故障轉移策略，執行器節點不可用是自動轉移到其他節點執行 支持任務超時控制、失敗重試配置 支持任務處理阻塞策略：調度當任務執行節點忙碌時來不及執行任務的處理策略，包括：串行、拋棄、覆蓋策略

• 易于監控運維 支持設置任務失敗郵件告警，預留接口支持短信、釘釘告警； 支持實時查看任務執行運行數據統計圖表、任務進度監控數據、任務完整執行日志；

系統設計

1 設計思路

將調度行為抽象形成“調度中心”公共平臺，而平臺自身并不承擔業務邏輯，“調度中心”負責發起調度請求； 將任務抽象成分散的JobHandler，交由“執行器”統一管理，“執行器”負責接收調度請求并執行對應的JobHandler中業務邏輯； 因此，“調度”和“任務”兩部分可以相互解耦，提高系統整體穩定性和擴展性；

2 系統組成

• 調度模塊（調度中心）： 負責管理調度信息，按照調度配置發出調度請求，自身不承擔業務代碼。調度系統與任務解耦，提高了系統可用性和穩定性，同時調度系統性能不再受限于任務模塊； 支持可視化、簡單且動態的管理調度信息，包括任務新建，更新，刪除，任務報警等，所有上述操作都會實時生效，同時支持監控調度結果以及執行日志，支持執行器Failover

• 執行模塊（執行器）： 負責接收調度請求并執行任務邏輯。任務模塊專注于任務的執行等操作，開發和維護更加簡單和高效； 接收“調度中心”的執行請求、終止請求和日志請求等

3 工作原理

• 任務執行器根據配置的調度中心的地址，自動注冊到調度中心

• 達到任務觸發條件，調度中心下發任務

• 執行器基于線程池執行任務，并把執行結果放入內存隊列中、把執行日志寫入日志文件中

• 執行器的回調線程消費內存隊列中的執行結果，主動上報給調度中心

• 當用戶在調度中心查看任務日志，調度中心請求任務執行器，任務執行器讀取任務日志文件并返回日志詳情

4 HA設計

4.1 調度中心高可用

調度中心支持多節點部署，基于數據庫行鎖保證同時只有一個調度中心節點觸發任務調度，參考com.xxl.job.admin.core.thread.JobScheduleHelper#start

Connection conn = XxlJobAdminConfig.getAdminConfig().getDataSource().getConnection();
connAutoCommit = conn.getAutoCommit();
conn.setAutoCommit(false);
preparedStatement = conn.prepareStatement(  "select * from xxl_job_lock where lock_name = 'schedule_lock' for update" );
preparedStatement.execute();

# 觸發任務調度

# 事務提交
 conn.commit();

4.2 任務調度高可用

• 路由策略 調度中心基于路由策略路由選擇一個執行器節點執行任務，XXL-JOB提供了如下路由策略保證任務調度高可用： 忙碌轉移策略： 下發任務前向執行器節點發起rpc心跳請求查詢是否忙碌，如果執行器節點返回忙碌則轉移到其他執行器節點執行（參考 com.xxl.job.admin.core.route.strategy.ExecutorRouteBusyover） 故障轉移策略： 下發任務前向執行器節點發起rpc心跳請求查詢是否在線，如果執行器節點沒返回或者返回不可用則轉移到其他執行器節點執行 （參考com.xxl.job.admin.core.route.strategy.ExecutorRouteFailover）

• 阻塞處理策略 當執行器節點存在多個相同任務id的任務未執行完成，則需要基于阻塞策略對任務進行取舍： 串行策略：默認策略，任務進行排隊、丟棄舊任務策略、丟棄新任務策略 (參考：com.xxl.job.core.biz.impl.ExecutorBizImpl#run)

同類框架比較

使用

快速上手

具體如何快速上手使用，官方文檔：http://www.xuxueli.com/xxl-job/ 已經介紹得比較詳細和清楚，不再贅述

注意事項

• 1 時鐘同步問題 調度中心和任務執行器需要時間同步，同步時間誤差需要在3分鐘內，否則拋出異常 參考：com.xxl.rpc.remoting.provider.XxlRpcProviderFactory#invokeService

if (System.currentTimeMillis() - xxlRpcRequest.getCreateMillisTime() > 3*60*1000) {
	xxlRpcResponse.setErrorMsg("The timestamp difference between admin and executor exceeds the limit.");
	return xxlRpcResponse;
}

• 2 時區問題 任務由調度中心觸發，按照在調度中心設置任務的cron表達式觸發時，需要注意部署調度中心的機器所在的時區，按照該時區定制化cron表達式

• 3 任務執行中服務宕掉問題 調度中心完成任務下發，執行器在執行任務的過程中，如果執行器突然服務宕掉，會導致任務的執行問題在調度中心是執行中，調度中心并不會發起失敗重試。即使任務設置了超時時間，執行器宕掉導致導致任務長時間未執行完成，調度中心界面也不會看到任務超時，因為任務超時是由執行器檢測的并上報給調度中心的

因此遇到任務長時間未執行完成，可以關注是否發生了執行器突然服務宕掉

• 4 優雅停機問題 執行器執行任務基于線程池異步執行，當需要重啟時需要注意線程池中還有未執行完成任務的問題，需要優雅停機，可以直接基于XxlJobExecutor.destroy()優雅停機，注意該方法在v2.0.2之前的版本存在bug導致無法優雅停機，v2.0.2及之后的版本才修復(參考：https://github.com/xuxueli/xxl-job/issues/727)

• 5 失敗重試問題 當執行器節點部分服務不可用，例如節點磁盤損壞，但在調度中心仍然處于在線時，調度中心仍可能基于路由策略(包括故障轉移策略)路由到該未下線的節點，并不斷重試，不斷失敗，導致重試次數耗盡。所以路由策略盡量不要采用固定化策略，例如固定第一個、固定最后一個

感謝各位的閱讀，以上就是“分布式任務調度平臺XXL-JOB的功能有哪些”的內容了，經過本文的學習后，相信大家對分布式任務調度平臺XXL-JOB的功能有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！