背景信息

騰訊網(wǎng)絡(luò)架構(gòu)伴隨騰訊15年的發(fā)展，幾乎承載了全互聯(lián)網(wǎng)業(yè)務(wù)產(chǎn)品，包括即時通訊(QQ/微信)、SNS(QZONE)、網(wǎng)絡(luò)媒體(騰訊網(wǎng)/微博)、游戲(QQGAME)等，為了給廣大互聯(lián)網(wǎng)用戶提供更好的接入體驗，數(shù)十萬服務(wù)器分布在全球10多個城市、數(shù)十個數(shù)據(jù)中心，產(chǎn)生的跨城數(shù)據(jù)中心間流量達到數(shù)百G規(guī)模。在業(yè)務(wù)類型多樣及流量需求規(guī)模巨大的情況下，騰訊數(shù)據(jù)中心間網(wǎng)絡(luò)主要存在如下挑戰(zhàn)：

首先，從響應(yīng)業(yè)務(wù)的角度來看，數(shù)據(jù)中心間網(wǎng)絡(luò)鏈路帶寬資源有限，難以滿足業(yè)務(wù)臨時性的大容量傳輸需求，通常需要業(yè)務(wù)部門自行搭建VPN平臺并通過公網(wǎng)傳輸;對重點業(yè)務(wù)流量的QoS保障也需要較長的時間擴容來滿足，業(yè)務(wù)部門通常抱怨基礎(chǔ)架構(gòu)側(cè)行動緩慢、缺乏靈活性、響應(yīng)速度慢;

其次，從鏈路利用率角度分析，為確保數(shù)據(jù)中心間專線可靠性需要做到業(yè)務(wù)專線1:1 備份，所以正常的情況下網(wǎng)絡(luò)鏈路利用率低于50%。昂貴的數(shù)據(jù)中心間網(wǎng)絡(luò)專線帶寬浪費過半，而業(yè)務(wù)部門又苦于數(shù)據(jù)中心間專線帶寬不夠，如何提高DCI(Data Center Interconnect，數(shù)據(jù)中心互聯(lián))鏈路利用率成為一個難題。

第三，從網(wǎng)絡(luò)管理的角度分析，在大型骨干網(wǎng)中，由于地理分布較廣和業(yè)務(wù)類型眾多等原因，一個管理域中設(shè)備數(shù)量往往接近1000臺(例如CN2，800多臺設(shè)備;Google backbone， 600多臺設(shè)備)。面對如此大型的網(wǎng)絡(luò)，完全通過人工方式管理這些分布式的系統(tǒng)需要一個非常復(fù)雜的管理體系和風險控制流程。據(jù)統(tǒng)計，中國互聯(lián)網(wǎng)規(guī)模每18個月會增加一倍，由此可見設(shè)備數(shù)量將會持續(xù)不斷地快速增加，針對未來的網(wǎng)絡(luò)規(guī)模，完全通過傳統(tǒng)的方式管理將是不可想象的。同時業(yè)務(wù)模式的多樣性，意味著需要為不同的業(yè)務(wù)類型提供差異化服務(wù)，也就是當需要管理一個容納1000臺設(shè)備的網(wǎng)絡(luò)的同時，還要求在每臺設(shè)備上為不同的業(yè)務(wù)類型提供實時變化的差異化服務(wù)，其復(fù)雜程度可想而知。

SDN(Software Defined Networking,軟件定義網(wǎng)絡(luò)將網(wǎng)絡(luò)配置從單臺設(shè)備遷移到軟件平臺，設(shè)備本身變得更加簡單。網(wǎng)絡(luò)配置由中央控制器管理,控制器是一個包含算法、分析和規(guī)則的軟件，它來自一組規(guī)則，并使用OpenFlow或其他協(xié)議將配置下發(fā)到網(wǎng)絡(luò)設(shè)備。SDN允許網(wǎng)絡(luò)工程師更為靈活地控制和管理網(wǎng)絡(luò)，以便最好地服務(wù)需求，從而達到增加功能和降低運營成本的目的。

為了更好地滿足業(yè)務(wù)的帶寬需求、提升專線利用率以及降低運營復(fù)雜度，騰訊逐步實踐數(shù)據(jù)中心間網(wǎng)絡(luò)SDN解決方案。在這里我們提出一個全新的概念：“Network as a Router”，假設(shè)整個網(wǎng)絡(luò)只有一臺路由器，所有功能和配置都在這臺路由器實現(xiàn)，試想一下，管理這樣的網(wǎng)絡(luò)將會是一件多么輕松愉悅的事情，我們甚至可以做到通過這臺路由器提供的標準API，讓每個用戶對自己在網(wǎng)絡(luò)上使用的資源進行管理?？梢钥吹?，Google全球數(shù)據(jù)中心擁有超過100萬臺服務(wù)器，數(shù)據(jù)中心之間有著頻繁、高帶寬的通信需求。據(jù)統(tǒng)計，在2011年Google為數(shù)據(jù)中心之間建設(shè)DWDM高達15T。正因為貫徹了采用TE技術(shù)結(jié)合SDN的理念，面對數(shù)量龐大的設(shè)備和鏈路，Google才能做到從容不迫，鏈路利用率達到90%。下面主要介紹騰訊數(shù)據(jù)中心間網(wǎng)絡(luò)如何從傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)演變?yōu)?ldquo;Network as a Router”，并且在SDN解決方案下怎樣實現(xiàn)智能的流量調(diào)度、網(wǎng)絡(luò)管理。

解決思路

規(guī)劃和構(gòu)建一個網(wǎng)絡(luò)就好比建設(shè)一座城市,羅馬不是一天建成的，網(wǎng)絡(luò)架構(gòu)的改變也是一項長期且重大的工程，需要在一個總體的藍圖下分階段逐步演進。

a. 道路建設(shè)

任何一座智能城市，都是需要建立在穩(wěn)固的基礎(chǔ)架構(gòu)設(shè)施之上，沒有好的公路更談不上城市的智能。網(wǎng)絡(luò)也是一樣，任何智能網(wǎng)絡(luò)都是建立在穩(wěn)定、可靠的基礎(chǔ)設(shè)施之上的。

在數(shù)據(jù)中心間網(wǎng)絡(luò)上，需要選擇穩(wěn)定、可靠的網(wǎng)絡(luò)設(shè)備和主備鏈路，選擇設(shè)備節(jié)點的異地備份，選擇具備良好擴展性的路由協(xié)議。物理硬件設(shè)施的基礎(chǔ)特性跟傳統(tǒng)的網(wǎng)絡(luò)理念是一致的。

b. BRT工程

當一個城市把公路修好之后是否可以高枕無憂呢?，答案是否定的，隨著車輛的增多、城市人口的增長，逐步會發(fā)現(xiàn)寬敞的馬路在高峰期還是會發(fā)生大面積擁堵，為了應(yīng)對這一問題，國內(nèi)各大城市開始建設(shè)BRT(Bus Rapid Transit，快速公交系統(tǒng))工程，公交車專用車道，提前預(yù)留專用道路給公交車，讓優(yōu)先級別高的公交車可以暢通無阻地通行。

在網(wǎng)絡(luò)上也需要相應(yīng)的技術(shù)手段預(yù)留帶寬，讓專用的流量在專用的帶寬上轉(zhuǎn)發(fā)，例如MPLS-TE，不同優(yōu)先級別的TE，可以為不同的業(yè)務(wù)類型保障承諾不同等級的服務(wù)。

c. 智能交通

現(xiàn)在駕車為了更快地到達目的地，通常會選擇導(dǎo)航工具，因為導(dǎo)航工具會提供到達目的地所有路徑的交通信息，推薦給你的選擇可能不是物理距離最短路徑，但卻是一條交通暢通，讓你花費時間最短的路徑，這里體現(xiàn)了道路交通的一部分智能化。

在我們網(wǎng)絡(luò)上也可以實現(xiàn)類似的功能，和過去不同的是，現(xiàn)在我們可以把全網(wǎng)的所有鏈路和設(shè)備都看作一個資源池，從A點到B點，使用者不需要知道直連的物理鏈路有多少，只需能夠調(diào)配資源池里面的所有資源即可，因為從A到B的路徑不僅僅只有A->B直連的，也有可能有A->C->B或者A->D->B的。到底使用哪個路徑到達目的地，使用者也許不必關(guān)心。

如何把不同的流量放到不同的路徑上，從而避免網(wǎng)絡(luò)發(fā)生擁塞的情況呢?這就要完全依賴網(wǎng)絡(luò)控制器了(controller)。Controller不僅僅能看到某條物理專線的帶寬，還能看到整個資源池，總體調(diào)度是池里的資源，可以判斷哪里有網(wǎng)絡(luò)帶寬資源，甚至聯(lián)動業(yè)務(wù)應(yīng)用的計算按照網(wǎng)絡(luò)資源情況把計算放到有資源的節(jié)點進行處理。

就如下圖所示Network Controller有面對用戶的接口，它能夠獲取到網(wǎng)管工具傳遞給它的信息，通過用戶信息和網(wǎng)管信息等，有效控制網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)資源。根據(jù)實時需求，把不同的flow在不同的路徑上實施添加、刪除、修改等操作，讓全網(wǎng)資源得到合理的共享。相當于把全網(wǎng)看作為一臺路由器進行管理和維護，我們只需要維護和管理Controller就可以管理整個網(wǎng)絡(luò)了，從而實現(xiàn)“Network as a Router”的目標。