Hadoop YARN中權限與日志聚集的相關參數有哪些

這期內容當中小編將會給大家帶來有關Hadoop YARN中權限與日志聚集的相關參數有哪些，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

注意，配置這些參數前，應充分理解這幾個參數的含義，以防止誤配給集群帶來的隱患。另外，這些參數均需要在yarn-site.xml中配置。

1.     權限相關配置參數

這里的權限由三部分組成，分別是：（1）管理員和普通用戶如何區分 （2）服務級別的權限，比如哪些用戶可以向集群提交ResourceManager提交應用程序，（3）隊列級別的權限，比如哪些用戶可以向隊列A提交作業等。

管理員列表由參數yarn.admin.acl指定。

服務級別的權限是通過配置hadoop-policy.xml實現的，這個與Hadoop 1.0類似

隊列級別的權限是由對應的資源調度器內部配置的，比如Fair Scheduler或者Capacity Scheduler等，具體閱讀后面幾節。

2.     日志聚集相關配置參數

日志聚集是YARN提供的日志中央化管理功能，它能將運行完成的Container/任務日志上傳到HDFS上，從而減輕NodeManager負 載，且提供一個中央化存儲和分析機制。默認情況下，Container/任務日志存在在各個NodeManager上，如果啟用日志聚集功能需要額外的配 置。

（1） yarn.log-aggregation-enable

參數解釋：是否啟用日志聚集功能。

默認值：false

（2） yarn.log-aggregation.retain-seconds

參數解釋：在HDFS上聚集的日志最多保存多長時間。

默認值：-1

（3） yarn.log-aggregation.retain-check-interval-seconds

參數解釋：多長時間檢查一次日志，并將滿足條件的刪除，如果是0或者負數，則為上一個值的1/10。

默認值：-1

（4） yarn.nodemanager.remote-app-log-dir

參數解釋：當應用程序運行結束后，日志被轉移到的HDFS目錄（啟用日志聚集功能時有效）。

默認值：/tmp/logs

（5） yarn.log-aggregation.retain-seconds

參數解釋：遠程日志目錄子目錄名稱（啟用日志聚集功能時有效）。

默認值：日志將被轉移到目錄

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

上述就是小編為大家分享的Hadoop YARN中權限與日志聚集的相關參數有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。