91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop YARN新特性有哪些

發布時間:2021-12-10 10:06:01 來源:億速云 閱讀:194 作者:iii 欄目:云計算

這篇文章主要介紹“Hadoop YARN新特性有哪些”,在日常操作中,相信很多人在Hadoop YARN新特性有哪些問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Hadoop YARN新特性有哪些”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!

(1)ResourceManager HA

在apache hadoop 2.4或者CDH5.0.0版本之后,增加了ResourceManger HA特性,支持基于Zookeeper的熱主備切換,具體配置參數可以參考Cloudera的文檔:ResourceManager HA配置。

需要注意的是,ResourceManager HA只完成了第一個階段的設計,即備ResourceManager啟動后,會殺死之前正在運行的Application,然后從共享存儲系統中讀取這些Application的元數據信息,并重新提交這些Application。啟動ApplicationMaster后,剩下的容錯功能就交給ApplicationMaster實現了,比如MapReduce的ApplicationMaster會不斷地將完成的任務信息寫到HDFS上,這樣,當它重啟時,可以重新讀取這些日志,進而只需重新運行那些未完成的任務。ResourceManager HA第二個階段的任務是,備ResourceManager接管主ResourceManager后,無需殺死那些正在運行的Application,讓他們像任何事情沒有發生一樣運行下去。

(2) 磁盤容錯

在apache hadoop 2.4或者CDH5.0.0版本之后,增加了幾個對多磁盤非常友好地參數,這些參數允許YARN更好地使用NodeManager上的多塊磁盤,相關jira為:YARN-1781,主要新增了三個參數:

yarn.nodemanager.disk-health-checker.min-healthy-disks:NodeManager上最少保證健康磁盤比例,當健康磁盤比例低于該值時,NodeManager不會再接收和啟動新的Container,默認值是0.25,表示25%;

yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage:一塊磁盤的最高使用率,當一塊磁盤的使用率超過該值時,則認為該盤為壞盤,不再使用該盤,默認是100,表示100%,可以適當調低;

yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb:一塊磁盤最少保證剩余空間大小,當某塊磁盤剩余空間低于該值時,將不再使用該盤,默認是0,表示0MB。

(3)資源調度器

Fair Scheduler:Fair Scheduler增加了一個非常有用的新特性,允許用戶在線將一個應用程序從一個隊列轉移到另外一個隊列,比如將一個重要作業從一個低優先級隊列轉移到高優先級隊列,操作命令是:bin/yarn application -movetoqueue appID -queue targetQueueName,相關jira為:YARN-1721。

Capacity Scheduler:Capacity Scheduler中資源搶占功能經過了充分的測試,可以使用了。

到此,關于“Hadoop YARN新特性有哪些”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速云網站,小編會繼續努力為大家帶來更多實用的文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

赫章县| 海宁市| 会泽县| 婺源县| 中方县| 万安县| 丹东市| 象州县| 科技| 亳州市| 永善县| 塔河县| 连州市| 搜索| 九台市| 永顺县| 达州市| 两当县| 锡林浩特市| 屏边| 山西省| 涡阳县| 城口县| 延吉市| 高州市| 岳西县| 麦盖提县| 区。| 汝南县| 大连市| 自贡市| 锡林浩特市| 连山| 章丘市| 宁河县| 灵宝市| 镶黄旗| 高州市| 新竹市| 淮安市| 醴陵市|