Spark History Server 配置部署

簡介

為了可以通過WebUI控制臺頁面來查看具體的運行細節，解決應用程序運行結束，無法繼續查看監控集群信息。無法回顧運行的程序細節，配置開啟spark.history服務.Spark History Server可以很好地解決上面的問題。

配置文件位置：

$SPARK_HOME$/conf目錄下的spark-defaults.conf文件。默認spark-defaults.conf是不存在的，我們可以根據Spark提供的template文件新建。

配置參數描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master節點的ip地址

spark.history.updateInterval
#默認值：10，以秒為單位，更新日志相關信息的時間間隔

spark.history.retainedApplications
#默認值：50，在內存中保存Application歷史記錄的個數，如果超過這個值，舊的應用程序信息將被刪除，當再次訪問已被刪除的應用信息時需要重新構建頁面。

spark.history.ui.port
#默認值：4040，HistoryServer的web端口

spark.history.ui.acls.enable
#默認值：false，授權用戶查看應用程序信息的時候是否檢查acl。如果啟用，只有應用程序所有者和spark.ui.view.acls指定的用戶可以查看應用程序信息;否則，不做任何檢查

spark.eventLog.enabled 
#默認值：false ，是否記錄Spark事件，用于應用程序在完成后重構webUI

spark.eventLog.dir
#默認值：file:///tmp/spark-events，保存日志相關信息的路徑，可以是hdfs://開頭的HDFS路徑，也可以是file://開頭的本地路徑，都需要提前創建

spark.eventLog.compress 
#默認值：false,是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認使用的是snappy

本地文件存儲日志配置案例：

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

啟動服務

$SPARK_HOME/sbin/start-history-server.sh

訪問

瀏覽器：http://nodeIP:18080