91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

CDH版本更新建議

發布時間:2020-05-22 15:38:58 來源:億速云 閱讀:847 作者:鴿子 欄目:大數據

發現最近很多人關注CDH版本更新的問題,CDH6更新有一年多的時間了,2019年2月19日,迭代的版本為CDH6.1.1,現在CDH最新的版本已經到CDH6.3.3了。為了方便比較,本文內容主要基于CDH5.16.1和CDH6.1.1進行說明。CDH6是基于Hadoop3同時包含大量其他組件的大版本更新的發布版本,許多用戶考慮到未來CDH的版本主要是基于CDH6,而CDH5會慢慢的停止更新,所以考慮新搭集群使用CDH6,或者想把已有的CDH5集群升級到CDH6第一個問題就是需要考慮CDH5和CDH6的差別,通過分析一些差異看能否將已有的應用遷移或者直接部署到CDH6,兼容性穩定性是否存在問題等。出于這個目的,本文會大概概括一下兩個版本間的差異,如果你需要更詳細的從各個方面比較CDH5和CDH6的差別的文檔,可以給我留言,我會發你。然后需要強調一下:沒有最好的技術,也不是說最新的技術就是最好的,永遠只有最合適的技術。

CDH6相對于CDH5是一次各個組件的大版本升級,要理解大版本更新,這里先解釋一下Hadoop相關組件的版本說明。比如版本號是x.y.z,z代表的一般是Maintenance Version或Patch Version,這種版本升級主要修復bug,不改動API,也不涉及新的功能,y代表的是Minor Version,這種版本升級主要是增加新的功能和新的API,x代表的是Major Version,往往會新增全新的功能,甚至改動API。那么CDH5到CDH6就是一次Major Version的升級,新增了很多功能,API的更改有可能導致你舊有的程序的不兼容而需要修改或者重新開發,但根據軟件開發迭代的原則,往往新版本會向下兼容一段時間,你只需要經過嚴格的測試,在一段時間內應用開發的修改理論不會太大,但還是要結合實際情況,進行嚴格的測試后再行判斷和評估。

CDH5現在依舊是市場上用的最多,推得最廣的版本,客戶認可度也較高。同時,CDH5經過快5年的迭代也是目前最成熟和穩定的版本,各個組件跟隨著社區版的更新迭代,已經把各個組件的bug修復得很完善。另外,無論是國外還是國內支持案例也多,國內可以找到很多相關的實施案例供參考,可以節省運維人力、物力成本。最后CDH5的周邊生態圈支持也比較豐富,無論是開源還是商業產品,ETL工具,調度工具,報表工具,BI工具等。你如果現在選擇CDH5或者已經在用了,Cloudera也官宣了依舊會再支持三年。

CDH6的更新較大,很多組件也都是大版本更新,引入了很多激動人心的新功能,同時各個組件也修復了大量已知的問題和安全漏洞。比如HDFS的糾刪碼用于冷數據降低存儲成本又保證了數據的可用性,NameNode和YARN的聯邦解決大規模集群的性能瓶頸問題,YARN引入GPU支持,未來會引入docker支持等。長遠來看,從Hadoop2升級到Hadoop3或者從CDH5升級到CDH6是必須的,因為無論是社區還是Cloudera從現在開始開始都會將開發重心轉移到Hadoop3或CDH6上,而CDH5則主要以維護和修復bug為主。

建議:

  1. 如果你是新搭集群,并且規模不太大(50個節點以內),基于Hadoop的應用也都是新開發,CDH6是一個不錯的選擇,畢竟避免了以后還要考慮從CDH5升級到CDH6的麻煩,同時還需要進行一次應用測試和遷移。未來遷移到CDH和HDP的合并版本CDP也會更加容易。
  2. 如果你已經有CDH5集群,作為生產系統各種應用已經穩定運行了較長的時間,如果不是因為功能或性能原因必須要用新版本,現階段可以暫時不考慮升級,繼續觀望一段時間。而你一旦決定升級,需要謹慎和細致的對待,包括你要考慮OS,JDK,元數據庫等的升級,已有各種應用比如Hive/Impala/Spark SQL,MapReduce/Spark代碼,腳本,Python/R算法工程等在CDH6進行測試,同時周邊的一些工具對接比如ETL,調度,報表,BI工具等也需要進行對接測試,一切測試通過以后規劃好合理的停機時間,然后進行升級

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

突泉县| 青河县| 镇康县| 合肥市| 广水市| 丰都县| 金寨县| 苏州市| 安康市| 江安县| 乐平市| 师宗县| 义乌市| 剑阁县| 交城县| 兴山县| 夏河县| 巴彦淖尔市| 玉山县| 余庆县| 巍山| 东乌珠穆沁旗| 通渭县| 固安县| 神池县| 辽阳县| 乌海市| 阳高县| 凤庆县| 德保县| 平果县| 武冈市| 甘南县| 化州市| 巴彦县| 于田县| 闸北区| 泸西县| 嘉兴市| 兰溪市| 贵定县|