數據中心從10G/40G升級到25G/100G 時的幾個注意點

作者簡介：鄭敏先，任職于諾云信息系統(上海)有限公司，擔任售前工程師。從事SDN、白盒交換機等開放網絡關產品的推廣工作。

　　服務器接口從10G升級為25G接口帶來很多好處，比如：

　　● 以太網性能是10G接口的2.5倍;

　　● 能為服務器的提供更高的端口密度;

　　● 更低的每GB數據傳輸功耗(更省電費);

　　……

　　雖然這些好處很誘人，但是仍然有幾個方面需要注意：

　　 一、確保理解 25G/100G的含義

　　以太網接口的傳輸速率在過去幾十年來大體呈線性增長(每10年增長10倍)。大家的臺式電腦或筆記本電腦的有線網卡基本是千兆網卡。而在當前的許多數據中心中，服務器的接口是10Gbps(萬兆), 交換機間的接口是40Gbps(四萬兆)，它們中的大多數都在考慮(或者正在)將網絡升級到下一代的25G/100G網絡(服務器的接口是25Gbps, 交換機間互聯的接口是100Gbps)。

　　一個100Gbps連接可被分接線纜(Break-out Cable)分解為四個通道(每個通道25Gbps)，所以100G網絡有時被稱為25G/100G網絡。同理,10G網絡有時也被稱為10G/40G網絡。

　　10G/40G網絡：

　　Spine交換機和Leaf (TOR)交換機之間鏈路為40Gbps，

　　服務器接口為10Gbps，

　　不同的Leaf交換機提供10G接口的方式及端口密度可能并不一樣，

　　1)以某Leaf交換機為例，該交換機端口規格為：4810Gbps+640Gbps ，此時Leaf 交換機提供的10G接口是Leaf交換機的原生10G接口：

　　2)以某Leaf交換機為例，該交換機端口規格為：3240Gbps，此時該Leaf 交換機提供的10G接口是其原生的40G接口經一分四Break-out cable分接出來的(在6個端口用于上連Spine交換機的場景下，能提供(32-6)4=104個10G端口)：

　　25G/100G網絡：

　　● Spine交換機和Leaf 交換機之間鏈路為100Gbps

　　● 服務器接口為25Gbps

　　不同的Leaf交換機提供25G接口的方式及端口密度可能并不一樣：

　　1)以某Leaf交換機為例，該交換機端口規格為：4825Gbps+6100Gbps ，此時Leaf 交換機提供的25G接口是Leaf交換機的原生25G接口：

　　2)以某Leaf交換機為例，該交換機端口規格為：32100Gbps，此時該Leaf 交換機提供的25G接口是其原生的100G接口經一分四Break-out cable分接出來的(在6個端口用于上連Spine交換機的場景下，能提供(32-6)4=104個25G端口)：

　二. 基于業務擴張規模，綜合考慮是否需要升級

　　對于一些處于領先地位的企業而言，從當前10/40G網絡升級到25/100G是最快速的方法。畢竟從規劃、新建到上線一個數據中心所花時間可能要花費好幾年。(花費時間過長意味著自身有被競爭對手追上的風險)。世界幾大公有云巨頭基本都是美國企業，特別注意的是部分領先者為了保持(甚至為了擴大領先優勢)，即使當時的25G/100G設備、光模塊等比今天要貴不少，但它們仍然在幾前就逐漸將既有數據中心網絡從10/40G升級到25/100G(當然它們同期也新建了一些數據中心)。

　　▲ 出貨到亞馬遜、谷歌和微軟的光模塊數量預測

　　放眼整個光模塊市場的出貨量，會發現每一種新的光模塊剛出現的一兩年都不被廣泛使用。想想也是，畢竟剛推出的那段時間價格很貴。過去幾年，國內25G/100G的應用晚于美國幾大OTT的腳步，而且國內25G/100G大多用在新建的數據中心。如今(2018年)，國內存量的10G數據中心有不少即將面臨網絡瓶頸或著IT設備設計壽命, 25G/100G光模塊價格比前兩年低不少，切換到到25G是個不錯的選擇(經濟+性能提升)。

　　▲ 整個光模塊市場的出貨量預測

　 　三、不一定每臺服務器都需要升級

　　如果您數據中心的一部分服務器的10G網絡(或未來一段時間)沒有瓶頸，那么將它們網絡也升級到25G并不會帶來性能提升。這種情況下可以讓這些服務器繼續使用10G網絡，等網絡即將成為瓶頸的時候再進行升級。。

　　四、盡量不要采購40Gbps的網卡

　　過去幾年中，40G的服務器網卡出貨數量并不多。某電商平臺的25G和40G服務器網卡的價格截圖如下(不含光模塊)，可以看到二者價格很接近。

　　但40G網卡通常并不能充分利用服務器PCIe總線。因為許多服務器帶PCIe 3.0 x 8(Gen3 x8)插槽，能提供56Gbps的帶寬。將帶2個25G的端口的網卡插到56Gbps PCIe插槽，可以使網絡到服務器性能獲得更高的效率(相對于插一個40G端口的網卡)。