大數據存儲解決方案中的分離式與超融合部署

數據中心內部系統的核心要求是 “穩定可靠”，一是指系統在運行過程中有能力提供連續可靠的服務，長時間無故障運行；二是指當故障發生之后，有能力快速定位，及時排查，故障范圍不蔓延。

分離式部署的方式，使得系統與云平臺系統相獨立，避免了計算和存儲爭搶 CPU/內存/網絡等物理資源，一旦某一方資源需求驟升導致的另一方資源枯竭，從而影響性能并在整個基礎架構中產生的漣漪效應；和在超融合部署方式在集群規模較大后，網絡、硬盤、服務器發生故障的概率都會增大；以及數據重刪、壓縮、加密糾刪碼等功能、故障的自修復和數據功能實現都會消耗一定的系統資源，導致性能下降和抖動等問題。

分離式部署相比超融合方式的優點：

 如此觀點如果不是出自某廠家或者供應商，也太偏頗了。我覺得簡單看兩種技術適合不同規模，中小規模（包括平臺規模，也包括人力資源規模）下超融合優勢明顯，大規模分布式存儲優勢更大。良好的設計，恰當的平衡才是關鍵，沒有一邊倒的絕對優勢。 

建議采用超融合式部署模式。

1、從成本上講，超融合式每個服務器既可以做計算資源，又可以做存儲資源，性價比最高。

2、從性能上講，分布式存系統，一般只占用服務器資源的10%左右，還有90%的性能可以使用。而且目前X86服務器的CPU性能越來越高，如果閑置不用，比較可惜，利用率太低。

3、從管理上講，每臺X86物理設備都一樣，方便橫向擴展和管理，每增加一個節點，就同時增加了計算資源和存儲資源，有利于管理。目前，百度和阿里的云數據中心基本都是這么做的。

一、 超融合的概念  

超融合 (Hyper- Converged)目前還沒有一個嚴格的標準定義， 各個廠商和機構都有各自的定義，這也說明超融合仍然處于快速發展演變當中，并未形成統一的標準規范。 超融合中“超”對應英文“Hyper”，特指虛擬化，對應虛擬化計算架構，如 KVM、XEN、Hyper-V 等。這一概念最早源自 Nutanix 等存儲 廠商將 Google/Facebook 等互聯網廠商采用的計算存儲融合架構用于 虛擬化環境，為企業客戶提供一種基于 X86 硬件平臺的計算存儲融 合產品或解決方案。按照這個概念，數據庫一體機和大數據一體機都 不能為超融合的范疇，因為RAC/Hadoop等應用并非運行在虛擬機 之上。此外，超融合架構中最根本的變化是存儲，由原先的集中共享 式存儲(SAN/NAS)轉向軟件定義存儲，特別是分布式存儲。

超融合中的 “融合”是指計算和存儲部署在同一個節點上，同時提供計算和存儲能力。融合一般可以分為物理融合和超融合兩種，超融 合是融合的一個子集。物理融合系統中，計算和存儲仍然可以是兩個 獨立的組件，沒有直接的相互依賴關系，共享主機的物理資源。超融 合與物理融合不同在于，重點以虛擬化計算為中心，計算和存儲緊密 相關，存儲由控制器虛擬機(Controller VM，CVM)而非物理機來控 制并將分散的存儲資源形成統一的存儲池，用于創建用戶的應用虛擬機。物理融合與超融合對比如所示。出于性能考慮，超融合架構通常 都需要將主機物理設備透傳(Pass Through)給控制器虛機 CVM。

超融合架構是基于標準通用的硬件

平臺，通過軟件定義實現計算、存儲、網絡融合，實現以虛擬化為中 心的軟件定義數據中心的技術架構。要判斷一套系統是否采用超融合 架構，主要基于以下幾點 :

(1) 完全軟件定義。獨立于硬件，采用商業通用標準硬件平臺(如 X86)，完全采用軟件實現計算、存儲、網絡等功能。

(2) 完全虛擬化。以虛擬化計算為中心，計算、存儲、網絡均由 虛擬化引擎統一管理和調度，軟件定義存儲由虛擬機控制器 CVM 進 行管理。

(3) 完全分布式。橫向擴展的分布式系統，計算、存儲、網絡按 需進行動態擴展，系統不存在單點故障，采用分布式存儲。

二、 超融合架構發展情況和案例

未來 5 至 10 年新一代數據中心基礎架構朝著軟件定義和超融合 方向發展，SAN/NAS 存儲逐漸被軟件定義的存儲所替代。在軟件定 義存儲(SDS)的推動下，超融合將成為數據中心基礎架構的核心， 并且是軟件定義數據中心(SDDC)的未來技術發展趨勢。基于多種 復雜設備的數據中心最終會歸一化成以通用服務器加互連網絡的體 系架構。在這些通用服務器上部署關鍵的軟件，通過虛擬化的方式實 現計算、存儲資源。然后再在這些虛擬化資源的基礎上部署應用，完 成具體功能。

存儲、計算和網絡的深度融合是未來 IT基礎設施發展的大趨勢， 超融合架構因此成為企業級客戶的首選，加速業務系統從傳統架構向 云計算架構的轉型。IDC 的統計報告顯示，2016 年全球超融合市場規 模預計將增長 94%。另一家市場分析公司 Gartner 預計，2019 年全球 超融合市場的規模將超過 1000 億美元，有大約 30%安裝在企業數據 中心內的存儲陣列都將是部署在軟件定義存儲或者基于 x86 硬件系 統的超融合集成系統架構。

2016 年以來，中國超融合市場持續升溫，越來越多的超融合團隊 逐漸發展起來。根據市場研究和咨詢公司 Gartner 在 2016 年 11 月針 對中國超融合市場趨勢發布的報告，思科、HP、Dell、EMC、NetApp 等老牌服務器和存儲大廠紛紛將技術與產品戰略轉向超融合的路線 上來。報告指出，中國一躍成為全球超融合基礎架構增速最快的市場，

國內的 H3C、華為、Nutanix、聯想、SmartX、深信服等廠商迅速跟 進了國際主流超融合解決方案。

目前超融合架構在國內的主要應用案例如下：

政府相關機構：中國檢查出版社，中國證監會，中國互聯網信息 中心，中國大連市政府，青海水利，廣州地稅局數據庫虛擬化，國家衛計委云數據中心，湖北省公安廳審計平臺，廈門公安局警務云平臺， 最高法司法統計管理平臺，深圳海關業務系統，廣東海事局智慧海事 平臺，中國 (西安)絲綢之路研究院，溫州醫科大學第一附屬醫院等。

 金融行業：招商銀行，中銀證券，南京證券，中信銀行等。 制造行業：東風本田，寶山鋼鐵，中鐵資源集團有限公司等。 IT 企業：科陸電子，聯想集團，中國聯通沃云，中國電信等。 教育行業：中國地質大學，中國科技大學，南開大學，北京郵電大學，北京外交學院，陜西省行政學院等。

三、 超融合架構的優勢

超融合架構迅速發展的原因是其具有顯著的優勢，能夠帶來極高 的客戶價值。超融合架構實現了計算、存儲、網絡等資源的統一管理 和調度，具有更彈性的橫向擴展能力，可以為數據中心帶來最優的效 率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化 平臺，替代了傳統的服務器加集中式存儲的架構，使得整個架構更清 晰簡單，極大簡化了復雜 IT 系統的設計。

超融合架構關鍵特征之一就是易于擴展，最小部署，按需擴容。 超融合廠商宣稱最大集群規模也差別很大，從數十到數千節點不等， 通常從 3 節點起配。超融合中計算能力、存儲性能和容量是同步擴容 的，無法滿足現實中單項能力的擴展，有些廠商還對擴容最小單元有 要求，擴展靈活性會受到限制。

集群達到一定規模后，系統架構復雜性就會非線性增加，集群管 理變的更加困難，硬件故障和自修復發生的概率也會大大增加。因此， 超融合架構一般不建議構建大集群，如果業務允許盡量構建多個適當 規模的較小集群，或者采用大集群中構建故障域或子資源池的方式。

物理設備透傳給控制虛機，增加了部署配置管理的復雜性。計算和存 儲對硬件平臺的要求都不同，融合后也會一定程度上增加兼容性驗證的復雜性。超融合架構下，管理、計算、存儲、高可用通常都需要配置獨立的虛擬網絡，網絡配置也會更加復雜。同時，共享物理資源的 分配、隔離、調度，這也是額外增加的復雜性。如果出現故障，問題的跟蹤調試和分析診斷也變得更加困難。

超融合架構下的存儲邏輯單元已經擁有了很多過去高級存儲才具備的功能，但是在數據保護，復制，容災，高可用，這些關系到數據存儲層面的需求是超融合廠商不會花精力去關注也無法關注的，同時架構本身的局限性帶來的用戶選擇面也比較窄，你無法把超大規模的計算中心全部塞滿超融合架構，用戶對于結構化和非結構化數據的海量增長這種數據存儲的異構需求不適合全部交給超融合來解決，很多用戶原本希望計算跟存儲分布擴容，或者計算跟存儲占比比較失衡的情況，比如計算資源需求很大，存儲資源需求很小，或者相反的情況全部交給超融合，這樣一股腦全部交給超融合的架構設計是相當糟糕的。