——以計(jì)算為中心的下一代數(shù)據(jù)中心交換網(wǎng)絡(luò)

在云計(jì)算漫漫之旅上，虛擬化將是我們建設(shè)架構(gòu)即服務(wù)云不得不跨越的一道坎，而大規(guī)模部署虛擬化更是給傳統(tǒng)數(shù)據(jù)中心管理模式、服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)架構(gòu)規(guī)劃管理帶來(lái)巨大的挑戰(zhàn)。為培養(yǎng)提高IT團(tuán)隊(duì)服務(wù)水平和總結(jié)有關(guān)這些方面的IT管理方法，筆者結(jié)合實(shí)際工作經(jīng)驗(yàn)，與大量用戶交流與反饋，閱讀了國(guó)內(nèi)外一些書(shū)籍、互聯(lián)網(wǎng)資料，在本文就云計(jì)算虛擬化交換網(wǎng)絡(luò)原理、邊緣網(wǎng)絡(luò)、核心網(wǎng)絡(luò)和產(chǎn)品與發(fā)展趨勢(shì)等方面給出了業(yè)務(wù)挑戰(zhàn)、技術(shù)、經(jīng)濟(jì)分析和解決方案，希望對(duì)讀者有所啟發(fā)。

第一節(jié) 云計(jì)算虛擬化交換網(wǎng)絡(luò)——原理篇

架構(gòu)即服務(wù)云計(jì)算

云計(jì)算是實(shí)現(xiàn)方便、快速、簡(jiǎn)單、按需訪問(wèn)可配置計(jì)算資源的管理模型 (部分定義來(lái)自nist)，云計(jì)算是企業(yè)IT資源管理的高級(jí)階段，隨業(yè)務(wù)變化而變化，而不僅僅是IT技術(shù)簡(jiǎn)單合并與應(yīng)用。云計(jì)算所包含內(nèi)容非常廣泛，如圖1所示，分成不同層次，從最接近用戶的上層到最下面的物理層，包含有業(yè)務(wù)接口層、應(yīng)用平臺(tái)層、分布式操作系統(tǒng)層、虛擬化層、硬件架構(gòu)層和數(shù)據(jù)中心設(shè)施層，同時(shí)有支撐不同層次之間管理和平臺(tái)，技術(shù)之外就作為商業(yè)模式出現(xiàn)的云服務(wù)交付體系和互聯(lián)互通標(biāo)準(zhǔn)等。而架構(gòu)即服務(wù)云計(jì)算是什么呢，很簡(jiǎn)單，就是根據(jù)用戶需求，在虛擬化層、硬件層和數(shù)據(jù)中心設(shè)施基礎(chǔ)等實(shí)現(xiàn)動(dòng)態(tài)資源管理與調(diào)配的云計(jì)算服務(wù)，具備了這些特征計(jì)算模式就可以稱之為架構(gòu)即服務(wù)云。

圖1 云計(jì)算架構(gòu)模型

在實(shí)現(xiàn)架構(gòu)即服務(wù)云計(jì)算過(guò)程中，虛擬化部署與實(shí)施是邁向成功的最關(guān)鍵一步。這里的虛擬化概念是更大范圍的架構(gòu)虛擬化，與我們平時(shí)所認(rèn)為的狹義服務(wù)器虛擬化不同，架構(gòu)即服務(wù)云的虛擬化應(yīng)該是端對(duì)端的虛擬化，包括數(shù)據(jù)中心虛擬化和桌面用戶虛擬化，而數(shù)據(jù)中心虛擬化（英文稱為Virtual Data Center或更細(xì)分為vPoD，Virtual Point of Delivery）又包含了服務(wù)器虛擬化、存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化。在所有虛擬化實(shí)現(xiàn)方式之中，以網(wǎng)絡(luò)虛擬化實(shí)現(xiàn)、設(shè)計(jì)和部署難度最大，因?yàn)榇蠖鄶?shù)網(wǎng)絡(luò)還是基于傳統(tǒng)硬件芯片轉(zhuǎn)發(fā)機(jī)制，無(wú)法實(shí)現(xiàn)靈活升級(jí)，所以只有實(shí)現(xiàn)了網(wǎng)絡(luò)虛擬化，我們才能真正最終實(shí)現(xiàn)基礎(chǔ)架構(gòu)端對(duì)端的虛擬化，才能實(shí)現(xiàn)架構(gòu)資源動(dòng)態(tài)調(diào)度。

云計(jì)算數(shù)據(jù)中心資源融合演變

談到云計(jì)算數(shù)據(jù)中心架構(gòu)，我們知道，如圖2所示，數(shù)據(jù)中心最基本的三種基礎(chǔ)資源組成信息基礎(chǔ)架構(gòu)，即服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)。當(dāng)前融合趨勢(shì)之一是服務(wù)器與存儲(chǔ)相互融合，服務(wù)器增加內(nèi)置硬盤(pán)容量替代大量直聯(lián)和近線存儲(chǔ)，以分布式文件系統(tǒng)方式管理，存儲(chǔ)設(shè)備則利用標(biāo)準(zhǔn)服務(wù)器實(shí)現(xiàn)更大規(guī)模橫向、豎向擴(kuò)展和更高性能架構(gòu)，將原本在服務(wù)器上的文件系統(tǒng)內(nèi)置于存儲(chǔ)架構(gòu)，通過(guò)存儲(chǔ)內(nèi)的元數(shù)據(jù)信息做到了應(yīng)用智能感知和處理；融合趨勢(shì)之一是服務(wù)器計(jì)算節(jié)點(diǎn)虛擬化需要更高比如萬(wàn)兆、更強(qiáng)、更靈活網(wǎng)絡(luò)設(shè)備支持，而傳統(tǒng)網(wǎng)絡(luò)設(shè)備功能也從游離在服務(wù)器之外進(jìn)入到內(nèi)部物理，即虛擬化軟件交換機(jī)，不但如此還在服務(wù)器內(nèi)部實(shí)現(xiàn)了虛擬防火墻或虛擬負(fù)載均衡，CPU作為服務(wù)器內(nèi)部計(jì)算核心在內(nèi)部網(wǎng)絡(luò)實(shí)現(xiàn)將發(fā)揮更大作用；融合趨勢(shì)之三是基于IP扁平化存儲(chǔ)與網(wǎng)絡(luò)結(jié)合更加緊密，需要優(yōu)化以IP網(wǎng)絡(luò)為基礎(chǔ)支撐的云存儲(chǔ)，作為存儲(chǔ)服務(wù)被異構(gòu)服務(wù)器或客戶端調(diào)用。在服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)硬件三種基礎(chǔ)資源平臺(tái)上，虛擬化和管理平臺(tái)建立統(tǒng)一架構(gòu)資源池，通過(guò)標(biāo)準(zhǔn)如RESTful接口進(jìn)行即時(shí)調(diào)度管理。

實(shí)際上，我們仔細(xì)分析一下，從云計(jì)算數(shù)據(jù)中心存在的三個(gè)基礎(chǔ)網(wǎng)絡(luò)就不難理解前面所述架構(gòu)融合趨勢(shì)。如圖3，第一個(gè)網(wǎng)絡(luò)是服務(wù)器與前端客戶之間通信網(wǎng)，特點(diǎn)是高接入、協(xié)議兼容，目前常用以太網(wǎng)絡(luò),用戶對(duì)網(wǎng)絡(luò)價(jià)格彈性和敏感性較高；第二個(gè)網(wǎng)絡(luò)是服務(wù)器與服務(wù)器之間進(jìn)程通信網(wǎng)，特點(diǎn)是高可靠、低延遲，進(jìn)程消息微秒級(jí)實(shí)時(shí)同步，目前常用InfinitBand網(wǎng)絡(luò)，大規(guī)模部署時(shí)對(duì)網(wǎng)絡(luò)價(jià)格敏感性高；第三個(gè)網(wǎng)絡(luò)是服務(wù)器與存儲(chǔ)陣列之間通信網(wǎng)，特點(diǎn)是滿足SCSI的Initiator和Target之間高帶寬、高IOPS和可靠性傳輸，目前通常維持獨(dú)立IP SAN或FC SAN，對(duì)網(wǎng)絡(luò)價(jià)格敏感性一般，因?yàn)榫W(wǎng)絡(luò)在總存儲(chǔ)成本只是少部分，來(lái)自數(shù)據(jù)保護(hù)和關(guān)鍵業(yè)務(wù)的需要也降低了價(jià)格彈性。這些兩兩對(duì)象之間的需求就是云計(jì)算數(shù)據(jù)中心架構(gòu)資源包括網(wǎng)絡(luò)需求在內(nèi)的最基本需求。要分析業(yè)務(wù)IT架構(gòu)需求、了解用戶痛點(diǎn)，規(guī)劃、設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)中心架構(gòu)，根據(jù)圖2和圖3確定的基本原則，就可以做到有的放矢，迎刃而解。

圖2 架構(gòu)云計(jì)算數(shù)據(jù)中心基礎(chǔ)架構(gòu)

圖3數(shù)據(jù)中心基本網(wǎng)絡(luò)I/O需求

進(jìn)一步分析，在我們建立虛擬化環(huán)境后，服務(wù)器與服務(wù)器之間通信網(wǎng)被融合到單臺(tái)物理機(jī)內(nèi)部的不同虛擬機(jī)之間，從而服務(wù)器與存儲(chǔ)通信網(wǎng)、服務(wù)器與前端客戶網(wǎng)絡(luò)也被拉到單臺(tái)物理機(jī)內(nèi)部，導(dǎo)致南北流量從90%減少25%，東西流量成為主流占據(jù)75%，如圖4所示，這樣趨勢(shì)下，傳統(tǒng)系統(tǒng)架構(gòu)和網(wǎng)絡(luò)設(shè)計(jì)勢(shì)必相應(yīng)改變才能適應(yīng)設(shè)計(jì)要求。這就是我們今天要談的云計(jì)算虛擬交換網(wǎng)絡(luò)。

圖4云計(jì)算虛擬化數(shù)據(jù)中心I/O演變

從歷史來(lái)看，云計(jì)算虛擬交換網(wǎng)絡(luò)由服務(wù)器內(nèi)部基于軟件虛擬交換發(fā)展而來(lái)，進(jìn)化發(fā)展到基于硬件的數(shù)據(jù)中心邊緣網(wǎng)絡(luò)，再升級(jí)到到數(shù)據(jù)中心核心層演變，層次疊進(jìn)，由用戶需求推動(dòng)到不同層面技術(shù)革新，從技術(shù)創(chuàng)新新反哺到用戶需求業(yè)務(wù)發(fā)展，又有新需求促進(jìn)反復(fù)作用，不斷提高和前進(jìn)的過(guò)程。

云計(jì)算計(jì)算資源虛擬交換網(wǎng)絡(luò)——計(jì)算資源內(nèi)部虛擬交換網(wǎng)絡(luò)

計(jì)算資源內(nèi)部虛擬交換網(wǎng)絡(luò)原理

簡(jiǎn)單來(lái)講，計(jì)算資源虛擬交換網(wǎng)絡(luò)就是在物理主機(jī)內(nèi)部，虛擬機(jī)管理平臺(tái)為了實(shí)現(xiàn)同一物理機(jī)或不同物理之間虛擬機(jī)通信而實(shí)現(xiàn)的軟件交換機(jī)。為了便于大家理解虛擬交換網(wǎng)絡(luò)原理，下面以VMware虛擬交換網(wǎng)絡(luò)概念為例介紹：
 

圖5 虛擬化交換網(wǎng)絡(luò)示意圖（VMware軟件交換）

虛擬化交換網(wǎng)絡(luò)接口分兩大類，一類是位于虛擬化支撐操作系統(tǒng)內(nèi)部，另一類是位于虛擬客戶機(jī)操作系統(tǒng)內(nèi)部。虛擬化支撐操作系統(tǒng)內(nèi)部網(wǎng)絡(luò)接口有IP存儲(chǔ)網(wǎng)絡(luò)接口（NFS或iSCSI，需要約2G帶寬，存取虛擬機(jī)映像或用戶數(shù)據(jù)），資源調(diào)度和虛擬機(jī)飄移網(wǎng)絡(luò)接口（如vMotion，一般最大消耗是3.6Gbps帶寬，傳遞飄移信息），保證虛擬機(jī)高可用網(wǎng)絡(luò)接口和容錯(cuò)日志接口（Fault Tolerant Logging，消耗約4Gbps帶寬，同步高可用信息）。虛擬化客戶機(jī)操作系統(tǒng)需求則比較簡(jiǎn)單，只要客戶操作系統(tǒng)內(nèi)部虛擬接口。從圖5，我們看到，每個(gè)虛擬化支撐平臺(tái)內(nèi)核本身就需要5個(gè)通信接口，而每個(gè)虛擬化客戶機(jī)至少配置一個(gè)虛擬化接口，每個(gè)接口都需要獨(dú)立IP和MAC地址。為了簡(jiǎn)化虛擬化軟件交換機(jī)復(fù)雜性、構(gòu)建更加開(kāi)放的IT虛擬化生態(tài)環(huán)境，VMware提供了VNetwork控制平面接口，第三方軟件廠家可以自己開(kāi)發(fā)獨(dú)立虛擬化控制平面交換機(jī)，或網(wǎng)絡(luò)硬件廠家開(kāi)發(fā)出虛擬化管理平臺(tái)插件，與VMware虛擬化管理平臺(tái)整合集成，自動(dòng)化調(diào)度網(wǎng)絡(luò)設(shè)備硬件配置隨虛擬機(jī)飄移而變化。比如Cisco公司Nexus 1000V就是第三方軟件交換機(jī)解決方案，F(xiàn)orce10等還提供了基于VMware虛擬化交換機(jī)符合VNetware規(guī)范的控制平臺(tái)插件，與VMware飄移策略集成，虛擬化計(jì)算節(jié)點(diǎn)智能感知，實(shí)現(xiàn)虛擬機(jī)調(diào)度是網(wǎng)絡(luò)自動(dòng)化調(diào)度，這里就不費(fèi)篇幅贅述了，有興趣讀者可以在網(wǎng)上查找資料。

計(jì)算資源內(nèi)部虛擬交換網(wǎng)絡(luò)挑戰(zhàn)

隨著虛擬化和云計(jì)算的深入發(fā)展，人們發(fā)現(xiàn)藏在虛擬操作系統(tǒng)內(nèi)的虛擬化交換機(jī)越來(lái)越成為頭痛的問(wèn)題。根據(jù)IDC統(tǒng)計(jì)（圖6），到2013年底虛擬機(jī)部署數(shù)量將是物理機(jī)的2.5倍，達(dá)到8千2百萬(wàn)臺(tái)，虛擬機(jī)節(jié)省了大量的物理購(gòu)買(mǎi)成本，但在管理復(fù)雜度上面造成運(yùn)營(yíng)成本增加也非常顯著。虛擬交換機(jī)既要與現(xiàn)有虛擬管理平臺(tái)兼容，又要應(yīng)對(duì)高度動(dòng)態(tài)變化端設(shè)備，維護(hù)虛擬邏輯抽象鏈接，集成與交換硬件設(shè)備功能，從移動(dòng)性、機(jī)動(dòng)性、維護(hù)性和集成性分類如下：

• 跟蹤設(shè)備移動(dòng)狀態(tài)。網(wǎng)絡(luò)端節(jié)點(diǎn)實(shí)體（比如虛擬機(jī)）的網(wǎng)絡(luò)狀態(tài)需要簡(jiǎn)單確定，不同主機(jī)之間可相互遷移節(jié)點(diǎn)狀體。這些狀態(tài)包括傳統(tǒng)“軟狀態(tài)”，比如數(shù)據(jù)鏈路層學(xué)習(xí)表、三層路由轉(zhuǎn)發(fā)狀態(tài)、路由策略狀態(tài)、訪問(wèn)控制列表、服務(wù)質(zhì)量策略、配置監(jiān)控及結(jié)構(gòu)化自動(dòng)化系統(tǒng)等。簡(jiǎn)單來(lái)講，就是每個(gè)虛擬機(jī)移動(dòng)時(shí)，其所帶虛擬接口策略如何主動(dòng)隨之漂移。

• 響應(yīng)網(wǎng)絡(luò)動(dòng)態(tài)變化。虛擬化環(huán)境最大特點(diǎn)是網(wǎng)絡(luò)高度狀態(tài)變化。跟蹤虛擬機(jī)加入和離開(kāi)，虛擬機(jī)往前或往后即時(shí)移動(dòng)，邏輯網(wǎng)絡(luò)環(huán)境快速變化，開(kāi)放式控制平面控制流量和全局網(wǎng)絡(luò)自動(dòng)發(fā)現(xiàn)管理。而且由于虛擬機(jī)動(dòng)態(tài)變化，防火墻和入侵檢測(cè)系統(tǒng)無(wú)法有效隨之變化而保護(hù)它們，無(wú)法做到及時(shí)被動(dòng)有效反應(yīng)。更極端情況是，虛擬機(jī)機(jī)動(dòng)性變化常常跨越了不同的組織邊界，尤其在公共云環(huán)境。

• 維護(hù)虛擬化邏輯標(biāo)記。分布式虛擬交換機(jī)通常通過(guò)增加或管理虛擬機(jī)網(wǎng)絡(luò)數(shù)據(jù)，來(lái)維護(hù)虛擬網(wǎng)絡(luò)或邏輯區(qū)域上下文，這是容易理解的簡(jiǎn)單方式，問(wèn)題是正確和高效管理這些虛擬化標(biāo)記非常困難。增加網(wǎng)絡(luò)標(biāo)記，就增加新一層網(wǎng)絡(luò)信息，從另一方面間又增加了網(wǎng)絡(luò)復(fù)雜度。為簡(jiǎn)化管理和提高效率，常常需要優(yōu)化虛擬機(jī)標(biāo)記存儲(chǔ)方式，包括保存虛擬化地址或重新映射、配置、修改和遷移標(biāo)志。

• 集成操作系統(tǒng)和硬件。把虛擬數(shù)據(jù)轉(zhuǎn)發(fā)路徑設(shè)計(jì)成“卸載”模式，數(shù)據(jù)包處理由硬件芯片完成，以獨(dú)立軟件或硬件芯片方式實(shí)現(xiàn)靈活控制，增加虛擬化網(wǎng)絡(luò)性能。獨(dú)立軟件開(kāi)發(fā)商還可以使用接口增強(qiáng)虛擬邊界網(wǎng)絡(luò)功能，減少硬件交付到應(yīng)用交付的負(fù)面影響，從而簡(jiǎn)化、加速和減輕可擴(kuò)展云的網(wǎng)絡(luò)管理。

圖6 邏輯主機(jī)與物理主機(jī)增長(zhǎng)趨勢(shì)圖 （來(lái)源：IDC）

開(kāi)放虛擬化軟件交換機(jī)（Open vSwitch）體系架構(gòu)簡(jiǎn)介

隨著虛擬化應(yīng)用普及，需要部署更多虛擬化軟交換交換機(jī)，而費(fèi)用昂貴的閉源虛擬交換機(jī)讓用戶不堪重負(fù)，于是一群開(kāi)源社區(qū)奉獻(xiàn)者開(kāi)發(fā)出了多層虛擬化軟件交換機(jī)Open vSwitch，它遵循Apache 2.0開(kāi)源代碼版權(quán)協(xié)議，可用于生產(chǎn)環(huán)境，支持跨物理服務(wù)器分布式管理、擴(kuò)展編程、大規(guī)模網(wǎng)絡(luò)自動(dòng)化和標(biāo)準(zhǔn)化接口，實(shí)現(xiàn)了和大多數(shù)商業(yè)閉源交換機(jī)功能類似的軟件交換機(jī)。
 

圖7 Open vSwitch內(nèi)部通信圖

圖8 Open vSwitch功能結(jié)構(gòu)圖

Open vSwitch基本部件分為三個(gè)部分，其一是ovs-vswtichd守護(hù)進(jìn)程，慢速轉(zhuǎn)發(fā)平面，位于用戶空間，完成基本轉(zhuǎn)發(fā)邏輯包括地址學(xué)習(xí)、鏡像配置、802.1Q VLAN、LACP協(xié)議、外部物理端口綁定基于源MAC和TCP負(fù)載均衡或主備方式，可以通過(guò)OpenFlow遠(yuǎn)程配置和管理，sFlow、NetFlow或SPAN端口鏡像方式保證網(wǎng)絡(luò)可視性，配置后數(shù)據(jù)交由ovsdb-server進(jìn)程存儲(chǔ)和管理；其二是核心數(shù)據(jù)轉(zhuǎn)發(fā)平面openvswitch_mod.ko模塊，它位于內(nèi)核空間，完成數(shù)據(jù)包查詢、修改、轉(zhuǎn)發(fā)，隧道封裝，維護(hù)底層轉(zhuǎn)發(fā)表，是快速數(shù)據(jù)轉(zhuǎn)發(fā)平面；其三是控制平面OpenFlow，不同物理機(jī)的軟件交換機(jī)通過(guò)OpenFlow控制集群組成分布式虛擬化交換機(jī)，還實(shí)現(xiàn)不同租戶虛擬機(jī)隔離實(shí)現(xiàn)。每個(gè)數(shù)據(jù)轉(zhuǎn)發(fā)保持一個(gè)OpenFlow鏈接，沒(méi)有在轉(zhuǎn)發(fā)平面出現(xiàn)的數(shù)據(jù)流在第一次通過(guò)軟件交換機(jī)時(shí)，都被轉(zhuǎn)發(fā)到OpenFlow控制平臺(tái)處理，OpenFlow根據(jù)2-4層信息特征匹配，定義轉(zhuǎn)發(fā)、丟棄、修改或排隊(duì)策略，然后第二次數(shù)據(jù)轉(zhuǎn)發(fā)時(shí)就直接由核心轉(zhuǎn)發(fā)模塊處理，加快了后續(xù)數(shù)據(jù)處理過(guò)程。根據(jù)有關(guān)測(cè)試報(bào)告，Open vSwtich與Linux Bridge表現(xiàn)性能相差無(wú)幾。

Open vSwitch不但可以獨(dú)立軟件方式在虛擬機(jī)管理器內(nèi)部運(yùn)行，比如Xen、 XenServer、KVM、Proxmox VE和VirtualBox等虛擬機(jī)支撐平臺(tái)，還可以可部署在硬件上，作為交換芯片控制堆棧。Citrix公司已把Open vSwitch作為XEN Cloud Platform平臺(tái)缺省內(nèi)置交換機(jī)，Open vSwitch版本1.1.0pre2支持如下功能：

• 支持NetFlow、sFlow(R)、SPAN和RSPAN，監(jiān)視虛擬機(jī)之間通信

• 支持標(biāo)準(zhǔn)802.1Q VLAN Trunk

• 保證最大、最小細(xì)分服務(wù)質(zhì)量保證QoS

• 可按虛擬機(jī)接口分配流量，定制策略

• 支持綁定網(wǎng)卡、基于源MAC地址負(fù)載均衡

• 支持OpenFlow控制平面協(xié)議

• 支持本地Python綁定的遠(yuǎn)程配置協(xié)議

• 支持以太網(wǎng)GRE隧道連接

• 兼容Linux橋接代碼

• 支持可選內(nèi)核或用戶空間轉(zhuǎn)發(fā)引擎

• 流緩沖引擎實(shí)現(xiàn)多表轉(zhuǎn)發(fā)管道

增強(qiáng)虛擬化軟件交換機(jī)性能

因?yàn)樘摂M化軟件交換機(jī)基于服務(wù)器內(nèi)部處理，消耗大量CPU資源和IO資源，為了提高轉(zhuǎn)發(fā)性能，各個(gè)組織如CPU廠家Intel、AMD和PCI工業(yè)協(xié)會(huì)一直積極推進(jìn)提高虛擬化性能。第一種性能提高方式是虛擬主機(jī)IO頁(yè)面地址直接訪問(wèn)功能，Intel VT-x功能是允許虛擬機(jī)直接訪問(wèn)由VMM（Virtual Machine Monitor）配置的物理內(nèi)存空間，直接路徑I/O存取，加速DMA數(shù)據(jù)存取。Intel VT-d與VT-d功能類似，使用DMA描述符號(hào)標(biāo)識(shí)虛擬機(jī)I/O地址空間，它們共同點(diǎn)是都需要做虛擬機(jī)I/O地址轉(zhuǎn)換到物理I/O地址工作，與物理I/O資源需要一一對(duì)應(yīng)關(guān)系，無(wú)法做到一對(duì)多，只能實(shí)現(xiàn)虛擬化對(duì)應(yīng)物理資源性能提高，無(wú)法I/O資源共享；第二種性能提高方式是卸載軟件網(wǎng)絡(luò)功能到物理網(wǎng)卡，VMDq (Virtual Machine Direct Queue) 就是基于網(wǎng)卡硬件加速的技術(shù)，提高虛擬化環(huán)境下網(wǎng)絡(luò)I/O性能。VMDq網(wǎng)卡實(shí)現(xiàn)了二層交換機(jī)部分功能，分揀和分類數(shù)據(jù)包，輪詢傳輸，傳統(tǒng)模式下由軟件交換機(jī)實(shí)現(xiàn)，據(jù)說(shuō)可以提高2倍性能，但是還需要VMM復(fù)制網(wǎng)絡(luò)數(shù)據(jù)包；第三種性能提高方式是SR-IOV實(shí)現(xiàn)IO設(shè)備資源共享，SR-IOV網(wǎng)卡內(nèi)嵌具有完整功能、支持廣播的二層交換機(jī)，是基本網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面，由CPU的VMM管理，可實(shí)現(xiàn)更加數(shù)據(jù)分揀、分類與安全等控制平面，還有一些簡(jiǎn)單QoS控制平面功能。資源共享方式是PCI Mgr (SR PCIM)給每個(gè)虛擬機(jī)分配一個(gè)單獨(dú)虛擬功能號(hào)VF（Virtual Function），最大支持256個(gè)子設(shè)備號(hào)256個(gè)虛擬機(jī)。性能提高方式是虛擬化軟件交換機(jī)完成初始資源（CPU、內(nèi)存和IO虛擬）分配管理，保留基本網(wǎng)絡(luò)控制平面。建立數(shù)據(jù)轉(zhuǎn)發(fā)連接后，虛擬機(jī)虛擬網(wǎng)卡之間通過(guò)VF直接轉(zhuǎn)發(fā)數(shù)據(jù)，無(wú)需經(jīng)過(guò)主機(jī)虛擬化軟件交換機(jī)，從而加速了虛擬化交換性能。其他性能提高方式還有Intel VT-c/VMDc功能（Virtual Machine Direct Connectivity）實(shí)現(xiàn)同一物理口不同虛擬機(jī)和虛擬功能之間直接通信模式，可以動(dòng)態(tài)指定不同虛擬機(jī)虛擬網(wǎng)卡專用帶寬，限于篇幅，這里就不多述了。
 

圖9 SR-IOV系統(tǒng)結(jié)構(gòu)圖

#p#

第二節(jié) 云計(jì)算虛擬化交換網(wǎng)絡(luò)——邊緣篇

虛擬化交換網(wǎng)絡(luò)層邊緣層挑戰(zhàn)

熟悉IT發(fā)展歷史的人都知道，IT技術(shù)發(fā)展趨勢(shì)總是這樣，進(jìn)入者在軟件上突破和實(shí)現(xiàn)，不斷應(yīng)用于客戶和取得市場(chǎng)反饋，然后隨著性能提升要求和硬件技術(shù)發(fā)展，移植到高速、簡(jiǎn)潔的ASIC上，虛擬化交換網(wǎng)絡(luò)領(lǐng)域也不外乎遵循這樣變化軌跡。

前面所講，計(jì)算資源內(nèi)部虛擬交換網(wǎng)絡(luò)實(shí)際上是通過(guò)數(shù)據(jù)中心邊緣計(jì)算節(jié)點(diǎn)內(nèi)部的虛擬交換機(jī)軟件實(shí)現(xiàn)。虛擬交換機(jī)放在數(shù)據(jù)中心網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)內(nèi)部時(shí)就被稱為虛擬邊緣橋接VEB（Virtual Edge Bridge）。這種稱謂是非常合適的，因?yàn)榇藭r(shí)虛擬交換機(jī)完成的功能和二十多年前我們使用的物理橋接設(shè)備（Bridge）類似，只完成不同網(wǎng)絡(luò)節(jié)點(diǎn)之間的數(shù)據(jù)轉(zhuǎn)發(fā)，沒(méi)有更細(xì)分的交換控制和管理比如網(wǎng)絡(luò)監(jiān)視、更多標(biāo)準(zhǔn)協(xié)議支持等等。虛擬邊緣橋接優(yōu)點(diǎn)是基于物理主機(jī)內(nèi)部交換，基于計(jì)算節(jié)點(diǎn)內(nèi)部資源，不會(huì)增加更多外部網(wǎng)絡(luò)流量，實(shí)現(xiàn)物理計(jì)算節(jié)點(diǎn)內(nèi)部更快交換速度，不需要額外硬件支持，只需在虛擬機(jī)支撐管理平臺(tái)編寫(xiě)告訴數(shù)據(jù)轉(zhuǎn)發(fā)引擎和開(kāi)發(fā)控制平面，服務(wù)器管理人員更容易理解和實(shí)施，但是主機(jī)軟件交換機(jī)缺點(diǎn)是一方面是性能提高受制于CPU和網(wǎng)卡IO架構(gòu)，另一方面是它通常只能由服務(wù)器團(tuán)隊(duì)通過(guò)虛擬機(jī)支撐平臺(tái)配置和管理，傳統(tǒng)網(wǎng)絡(luò)團(tuán)隊(duì)難以理解、學(xué)習(xí)和操作，缺乏鏈路底層的監(jiān)控和安全控制，因此IT安全管理策略還需要在虛擬機(jī)和物理機(jī)不同層面分別實(shí)現(xiàn)。為了進(jìn)一步提高性能和簡(jiǎn)化管理，把卸載到網(wǎng)卡功能再卸載到強(qiáng)大的物理交換機(jī)。

虛擬化交換網(wǎng)絡(luò)邊緣層層技術(shù)發(fā)展

針對(duì)以上數(shù)據(jù)中心邊緣網(wǎng)絡(luò)技術(shù)和管理挑戰(zhàn)，目前業(yè)界發(fā)展“Edge Virtual Bridging”（EVB）邊緣虛擬橋接，形成了兩種的技術(shù)標(biāo)準(zhǔn)：

虛擬以太端口匯聚器（Virtual Ethernet Port Aggregator，簡(jiǎn)稱VEPA）

VEPA技術(shù)標(biāo)準(zhǔn)是由HP、IBM、Dell、Juniper和Brocade等公司發(fā)起的，統(tǒng)一管理和監(jiān)控各種虛擬機(jī)的橋接標(biāo)準(zhǔn)，目前已被采納為IEEE標(biāo)準(zhǔn)802.1Qbg，其主要功能由數(shù)據(jù)中心邊緣虛擬交換機(jī)硬件實(shí)現(xiàn)。VEPA有兩種實(shí)現(xiàn)模式，一種是標(biāo)準(zhǔn)模式，需要虛擬交換機(jī)和上聯(lián)交換機(jī)做少量代碼升級(jí)；另外一種是多通道模式，需要上聯(lián)交換機(jī)更多智能處理功能。

標(biāo)準(zhǔn)模式VEPA技術(shù)特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單。傳統(tǒng)虛擬環(huán)境下，同一物理節(jié)點(diǎn)的不同虛擬機(jī)之間流量發(fā)送由虛擬交換機(jī)直接處理了，并不會(huì)發(fā)出網(wǎng)口。在VEPA下，情況發(fā)生了一點(diǎn)點(diǎn)改變，虛擬機(jī)內(nèi)部之間流量不再由本地虛擬交換機(jī)處理，而是被強(qiáng)制發(fā)往物理網(wǎng)卡外部，由網(wǎng)卡上聯(lián)的VEPA交換機(jī)接收處理后才發(fā)送回來(lái)，這種技術(shù)叫Hairpin（發(fā)夾）。因?yàn)榇蠹抑溃瑐鹘y(tǒng)交換機(jī)固件不允許從一個(gè)物理接口接收數(shù)據(jù)幀，又同時(shí)從同一口發(fā)送同樣目的MAC地址的數(shù)據(jù)幀，所以需要我們需要對(duì)傳統(tǒng)交換機(jī)固件做一些簡(jiǎn)單修改，允許其繞回。這種方式下，很簡(jiǎn)單，所有虛擬機(jī)流量被重新導(dǎo)向了上聯(lián)物理交換機(jī)，用戶可以輕松地以傳統(tǒng)管理方式，在修改后的物理交換機(jī)上實(shí)現(xiàn)流量統(tǒng)計(jì)、安全控制管理，減少物理節(jié)點(diǎn)寶貴CPU資源，不必浪費(fèi)在簡(jiǎn)單的網(wǎng)絡(luò)I/O層面。不過(guò)VEPA實(shí)現(xiàn)方式也有明顯缺點(diǎn)，所有虛擬機(jī)之間流量在物理節(jié)點(diǎn)和交換機(jī)來(lái)回了兩次，浪費(fèi)了網(wǎng)絡(luò)帶寬和增加數(shù)據(jù)延遲，但是與安全管理簡(jiǎn)單控制收益相比，這些代價(jià)是值得的。另外一方面，專用網(wǎng)絡(luò)設(shè)備芯片對(duì)網(wǎng)絡(luò)流量轉(zhuǎn)發(fā)和控制效率通常比我們標(biāo)準(zhǔn)服務(wù)器來(lái)得更加經(jīng)濟(jì)有效，我們還可以結(jié)合第一節(jié)中提到的單根IO虛擬化（Single Root I/O Virtualization）或VMDq直接路徑I/O減少虛擬機(jī)之間來(lái)回轉(zhuǎn)發(fā)數(shù)據(jù)包負(fù)面影響。

圖10標(biāo)準(zhǔn)VEPA EVB操作模式

圖11 VEPA多通道運(yùn)行模式

多通道模式VEPA（Mutli-Channel VEPA）則增強(qiáng)了標(biāo)準(zhǔn)模式功能，同時(shí)兼容傳統(tǒng)虛擬交換機(jī)和標(biāo)準(zhǔn)模式VEPA，實(shí)現(xiàn)方式是將物理鏈路分成多個(gè)服務(wù)通道Channel，網(wǎng)絡(luò)交換機(jī)和網(wǎng)卡獨(dú)立識(shí)別每個(gè)通道，這些通道可以分配給傳統(tǒng)直聯(lián)虛擬機(jī)、傳統(tǒng)VEB模式虛擬化交換機(jī)或VEPA虛擬以太端口聚合交換機(jī)。每個(gè)通道物理標(biāo)識(shí)采用802.1ad（Q-in-Q）技術(shù)，簡(jiǎn)單來(lái)講，就是在802.1Q VLAN標(biāo)記基礎(chǔ)上增加了“S-Tag”服務(wù)字段標(biāo)記每個(gè)通道，很顯然，服務(wù)器網(wǎng)卡和交換機(jī)都需要支持Q in Q特性，才能區(qū)分不同源虛擬機(jī)或橋接流量。

虛擬網(wǎng)絡(luò)標(biāo)識(shí)（VN-Tag）

VN-Tag標(biāo)準(zhǔn)由Cisco為主發(fā)起的虛擬化網(wǎng)絡(luò)控制協(xié)議，實(shí)現(xiàn)了虛擬網(wǎng)絡(luò)智能識(shí)別和控制，在不擴(kuò)大生成樹(shù)域和管理界面的前提下擴(kuò)展了接入層，目前已被IEEE接納成802.1Qbh“Bridge Port Extension”橋接口擴(kuò)展標(biāo)準(zhǔn)，實(shí)現(xiàn)方式主要是在傳統(tǒng)以太網(wǎng)幀基礎(chǔ)上增加VN-Tag幀頭以標(biāo)識(shí)每個(gè)虛擬機(jī)所綁定的虛擬接口（Virtual Interface, 簡(jiǎn)稱VIF）。VN-Tag幀頭其中最重要兩個(gè)字段分別是目的虛擬接口標(biāo)識(shí)DVIF_ID和源虛擬接口標(biāo)識(shí)SVIF_ID，它們清楚地區(qū)分了來(lái)自同一個(gè)物理網(wǎng)口上的每個(gè)虛擬機(jī)虛擬網(wǎng)絡(luò)接口。每個(gè)接口功能實(shí)現(xiàn)機(jī)理有兩種，物理網(wǎng)卡芯片固件或虛擬機(jī)平臺(tái)軟件交換。VN-Tag缺點(diǎn)是需要網(wǎng)卡和交換機(jī)硬件升級(jí)，但是與傳統(tǒng)交換機(jī)兼容，因?yàn)樘摂M接口VIF只是本地查找有效，VN-Tag在VN-Tag交換機(jī)入口處寫(xiě)入，在出口處去除VN-Tag，中間交換機(jī)只是需要根據(jù)傳統(tǒng)以太網(wǎng)幀模式傳輸，VIF作用有點(diǎn)類似我們以前常用幀中繼的本地邏輯鏈路接口DLCI。

圖12 VN_Tag幀格式

圖13 VN_Tag幀轉(zhuǎn)發(fā)模式

總的來(lái)說(shuō)，目前兩大標(biāo)準(zhǔn)802.1Qbg和802.1Qbh都在不斷完善過(guò)程中。可以看出，VEPA主要改進(jìn)在于減少軟件交換機(jī)在數(shù)據(jù)轉(zhuǎn)發(fā)層面性能影響，虛擬流量以802.1q和服務(wù)通道表示，整個(gè)控制平面交由VEPA物理交換機(jī)實(shí)現(xiàn)。而VN-Tag主要改進(jìn)在于虛擬化得數(shù)據(jù)轉(zhuǎn)發(fā)層面和控制平面端對(duì)端實(shí)現(xiàn)了革命性變化，虛擬流量以源和目的VIF虛擬端口表示，既可以通過(guò)軟件交換機(jī)內(nèi)核實(shí)現(xiàn)也可以物理交換機(jī)實(shí)現(xiàn)。實(shí)際上，兩者具有互補(bǔ)作用，VEPA設(shè)備自動(dòng)發(fā)現(xiàn)方式就可以用于VN-Tag，未來(lái)不排除出現(xiàn)融合兩者技術(shù)的新標(biāo)準(zhǔn)，做為IT管理者，對(duì)當(dāng)前采購(gòu)的設(shè)備需要充分考慮與原有設(shè)備和協(xié)議的兼容性，運(yùn)行效率提高，同時(shí)不會(huì)由于哪一個(gè)技術(shù)發(fā)展障礙而受到影響。

#p#

第三節(jié) 云計(jì)算虛擬化交換網(wǎng)絡(luò)——核心篇

虛擬化交換網(wǎng)絡(luò)核心層挑戰(zhàn)

同一物理節(jié)點(diǎn)部署了多臺(tái)虛擬節(jié)點(diǎn)，虛擬機(jī)可用性就會(huì)受制于物理節(jié)點(diǎn)可用性，為了減少來(lái)自物理節(jié)點(diǎn)可用性影響，就必須讓虛擬機(jī)在不同物理機(jī)之間保持高可用性。不但如此，資源調(diào)度以虛擬機(jī)飄移方式實(shí)現(xiàn)。虛擬化主機(jī)高可用、動(dòng)態(tài)調(diào)度和容錯(cuò)等，其支撐平臺(tái)需要同步大量所有關(guān)鍵信息，包括微妙級(jí)別變化更新的大規(guī)模內(nèi)存影像和存儲(chǔ)數(shù)據(jù)，同步進(jìn)程之間消息傳遞必須保證低延遲，因此我們?cè)跀U(kuò)展核心和邊緣網(wǎng)絡(luò)時(shí)必須實(shí)現(xiàn)傳輸性能最大化，延遲最小化，所以保持基本網(wǎng)絡(luò)多路徑、快速收斂、橫向擴(kuò)展的二層環(huán)境就是我們選擇和發(fā)展方向。但是傳統(tǒng)網(wǎng)絡(luò)為實(shí)現(xiàn)物理網(wǎng)絡(luò)高可用性而用得生成樹(shù)協(xié)議，就成為了我們不得不面對(duì)最大挑戰(zhàn)。一方面，在網(wǎng)絡(luò)控制平面，STP浪費(fèi)了50%鏈路帶寬，秒級(jí)收斂時(shí)間無(wú)法滿足低延遲要求，另一方面，由于虛擬化接口二層MAC地址大量增加，如何在轉(zhuǎn)發(fā)平面保持二層高效尋址和高速數(shù)據(jù)轉(zhuǎn)發(fā)就是另外的困難點(diǎn)。舉個(gè)例子，MAC地址表轉(zhuǎn)發(fā)需求，原來(lái)每臺(tái)物理節(jié)點(diǎn)只有兩個(gè)網(wǎng)卡，兩個(gè)MAC地址，安裝十個(gè)虛擬機(jī)后MAC地址數(shù)目變成2x10（冗余設(shè)計(jì)）+2等于22個(gè)，安裝五十個(gè)虛擬機(jī)后MAC地址數(shù)量變成102個(gè)，增加了50倍MAC表轉(zhuǎn)發(fā)要求，激活MAC的數(shù)目是物理機(jī)數(shù)和虛擬機(jī)數(shù)線性函數(shù)，虛擬化環(huán)境下，這個(gè)函數(shù)值被放大了成十上百倍，單個(gè)物理端口MAC密度同比放大，并且我們知道網(wǎng)絡(luò)信息處理要求與網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目平方成正比，所以網(wǎng)絡(luò)性能要求也就增加了成百上萬(wàn)倍。

當(dāng)前不少數(shù)據(jù)中心網(wǎng)絡(luò)雖然也實(shí)現(xiàn)了二層網(wǎng)絡(luò)，但是由于交換機(jī)功能比較簡(jiǎn)單，它只是根據(jù)入端口學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)物理地址，根據(jù)目的節(jié)點(diǎn)物理地址，給定出端口轉(zhuǎn)發(fā)路徑，我們可以稱之為純二層轉(zhuǎn)發(fā)，同時(shí)生成樹(shù)距離向量算法也比較簡(jiǎn)單，沒(méi)有與轉(zhuǎn)發(fā)平面集成，更無(wú)法實(shí)現(xiàn)基于二層網(wǎng)絡(luò)層次模型智能地轉(zhuǎn)發(fā)，或者說(shuō)沒(méi)有二層半的數(shù)據(jù)轉(zhuǎn)發(fā)，所以實(shí)際上傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)只有基本數(shù)據(jù)轉(zhuǎn)發(fā)平面，沒(méi)有豐富的控制和管理平面。另外，傳統(tǒng)網(wǎng)絡(luò)下，網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目比較少，而且節(jié)點(diǎn)網(wǎng)絡(luò)位置變化頻率非常低，通常幾天或幾月不等，流量模式主要是客戶機(jī)與服務(wù)主機(jī)之間的南北流量。虛擬化交換架構(gòu)里，網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目成百增加，節(jié)點(diǎn)位置遷移和變化頻率要求去到妙級(jí)，流量模型變成以虛擬主機(jī)之間的東西流量為主，這種頻繁變化需求，使得生成樹(shù)STP在高度重建虛擬化節(jié)點(diǎn)路徑時(shí)應(yīng)接不暇，可能最終變成一個(gè)近似無(wú)限的循環(huán)。

為了隔離網(wǎng)絡(luò)風(fēng)暴，簡(jiǎn)化管理和增加安全，傳統(tǒng)大型數(shù)據(jù)中心通過(guò)VLAN方式隔離不同用戶區(qū)域。整體網(wǎng)絡(luò)分成接入層、匯聚層和核心層，不同區(qū)域用戶通信時(shí)，接入層和匯聚層把數(shù)據(jù)導(dǎo)向核心，核心層基于三層轉(zhuǎn)發(fā)。云計(jì)算虛擬化環(huán)境下，“不同區(qū)域”概念被高度模糊，區(qū)域內(nèi)部、區(qū)域之間通信無(wú)法有效靜態(tài)區(qū)分，二層和三層極度混合，通信模式從數(shù)據(jù)中心服務(wù)主機(jī)群與外部客戶交互的垂直交換模式（占總體流量95%以上）演變變成數(shù)據(jù)中心內(nèi)部大量虛擬機(jī)之間交互的水平交換模式（占總體流量75%以上，原因是垂直流量不變，水平流量大量增加），傳統(tǒng)模式的核心三層路由轉(zhuǎn)發(fā)便成為瓶頸。那么如何消除瓶頸呢？用戶需求永遠(yuǎn)是產(chǎn)業(yè)導(dǎo)向之根本，顯然根本途徑是消除或減少網(wǎng)絡(luò)層次，云計(jì)算虛擬化交換網(wǎng)絡(luò)趨勢(shì)便是從三層簡(jiǎn)化為核心層和邊緣層二層，而且二層網(wǎng)絡(luò)則需要消除生成樹(shù)，更加簡(jiǎn)單，支持多路徑以應(yīng)對(duì)虛擬資源快速變化要求。

虛擬化交換網(wǎng)絡(luò)核心層技術(shù)發(fā)展

每一次新IT技術(shù)出現(xiàn)，我們?cè)趹?yīng)用新IT技術(shù)都會(huì)有新的挑戰(zhàn)。從最終用戶需求觀點(diǎn)看，第一，新技術(shù)應(yīng)用從保護(hù)資產(chǎn)投資、員工學(xué)習(xí)曲線上講，其應(yīng)用過(guò)程應(yīng)該是漸進(jìn)性的，而不是革命性，不能影響現(xiàn)有應(yīng)用環(huán)境，與現(xiàn)有環(huán)境局部兼容共存，是求同存異過(guò)程，一個(gè)環(huán)境兩種或以上技術(shù)，可在適當(dāng)時(shí)間段將當(dāng)前應(yīng)用環(huán)境平滑到新技術(shù)環(huán)境；第二，從技術(shù)需求上講，新技術(shù)應(yīng)該能夠提供更高性能、更好擴(kuò)展性、更易管理、更加開(kāi)放和兼容標(biāo)準(zhǔn)價(jià)值等，保持總擁有成本更小優(yōu)勢(shì)；第三，新技術(shù)在不同應(yīng)用、不同行業(yè)廣泛應(yīng)用程度和技術(shù)成熟程度也會(huì)用戶重要考量指標(biāo)。具體到虛擬化交換網(wǎng)絡(luò)核心層發(fā)展，我們可以看到來(lái)自三個(gè)方面需求：

第一，數(shù)據(jù)轉(zhuǎn)發(fā)平面發(fā)展。關(guān)鍵要保證數(shù)據(jù)轉(zhuǎn)發(fā)平面可擴(kuò)展性，核心豎向擴(kuò)展有限設(shè)備轉(zhuǎn)發(fā)智能轉(zhuǎn)向基于邊緣設(shè)備快速轉(zhuǎn)發(fā)智能，中心設(shè)備只是完成無(wú)CPU介入的全網(wǎng)狀通路。簡(jiǎn)單來(lái)說(shuō)，需要把傳統(tǒng)交換機(jī)端口接口板和交換背板快速轉(zhuǎn)發(fā)機(jī)理延展到了數(shù)據(jù)中心網(wǎng)絡(luò)邊緣，每個(gè)靈活的接口板變成每個(gè)獨(dú)立智能、靈活接口設(shè)備部件，交換機(jī)交換背板變成可橫向擴(kuò)展的中心交換部件。來(lái)自任意端口節(jié)點(diǎn)的流量都可以盡可能少的跳數(shù)到達(dá)任意其它節(jié)點(diǎn)端口，以使延遲達(dá)到最小。其實(shí)現(xiàn)本質(zhì)上就是解決一對(duì)多問(wèn)題，原來(lái)由一臺(tái)大型網(wǎng)絡(luò)部件實(shí)現(xiàn)的功能，為了橫向擴(kuò)展只能以更多中小型節(jié)點(diǎn)替代一個(gè)大型部件，減少大型部件向上擴(kuò)展的物理限制，從而減少了所需核心節(jié)點(diǎn)總經(jīng)濟(jì)成本。

第二，控制平面發(fā)展。人類每一次把老問(wèn)題以新方式解決后，又會(huì)有新問(wèn)題出現(xiàn)，如此反復(fù)。當(dāng)我們把中心智能推向邊緣智能后，產(chǎn)生了新的挑戰(zhàn)，傳統(tǒng)模式交換機(jī)中心控制不復(fù)存在，沒(méi)有統(tǒng)一轉(zhuǎn)發(fā)表，沒(méi)有集中控制，而集中控制和端對(duì)端感知需求依然存在，九九歸一，控制平面集中化就是多對(duì)一，這個(gè)需求本身沒(méi)有消失，消失的是老需求方式。要保證原來(lái)的需求，新網(wǎng)絡(luò)邊緣設(shè)備必須有全網(wǎng)拓?fù)洹⒙酚珊涂刂颇芰Γ@樣才可以全網(wǎng)智能，本地轉(zhuǎn)發(fā)，這樣控制方式有點(diǎn)像我們?nèi)祟惿鐣?huì)的聯(lián)邦制國(guó)家管理，大家都在統(tǒng)一憲法下管理，每個(gè)聯(lián)邦郡能充分自主的能力管理政府和社會(huì)。當(dāng)業(yè)務(wù)需要擴(kuò)展時(shí)，只要接入邊緣智能節(jié)點(diǎn)，邊緣節(jié)點(diǎn)自動(dòng)感知現(xiàn)有網(wǎng)絡(luò)，當(dāng)中心節(jié)點(diǎn)失效時(shí)，多接口接入邊緣節(jié)點(diǎn)即時(shí)、自動(dòng)無(wú)縫轉(zhuǎn)移到另外轉(zhuǎn)發(fā)平面節(jié)點(diǎn)繼續(xù)工作。每個(gè)邊緣設(shè)備都需要智能，需要更高性能CPU、內(nèi)存和相應(yīng)芯片組，新型邊緣設(shè)備成本通常比傳統(tǒng)接入設(shè)備要高得多，因此控制平面要求導(dǎo)致單個(gè)邊緣節(jié)點(diǎn)成本增加。

第三，管理平面發(fā)展。實(shí)際上，管理平面和控制平面是相輔相成的。只要控制平面集中實(shí)現(xiàn)，整個(gè)數(shù)據(jù)中心交換架構(gòu)就可以做到多對(duì)一，當(dāng)作虛擬統(tǒng)一交換機(jī)管理，管理平面簡(jiǎn)單實(shí)現(xiàn)也就自然而然了。單個(gè)核心節(jié)點(diǎn)由于橫向擴(kuò)展和功能簡(jiǎn)單減少經(jīng)濟(jì)成本，單個(gè)邊緣節(jié)點(diǎn)由于需要智能感知和靈活接入導(dǎo)致研發(fā)和硬件成本增加，這一增一減總體就需要IT管理者的平衡藝術(shù)了。

總而言之，針對(duì)虛擬化交換網(wǎng)絡(luò)核心層挑戰(zhàn)，二層多路徑是應(yīng)對(duì)挑戰(zhàn)的必由之路，目前致力于實(shí)現(xiàn)二層多路徑標(biāo)準(zhǔn)化組織主要有IETF和IEEE。IETF標(biāo)準(zhǔn)為為T(mén)RILL（RFC5556，命名為T(mén)ransparent Interconnection of Lots of Links）和IEEE標(biāo)準(zhǔn)是802.1aq（SPB，Shortest Path Bridge，最短路徑橋接），他們都采用IS-IS作為基本路由協(xié)議確定將數(shù)據(jù)包傳輸?shù)剿哪康牡氐淖疃搪窂剑瑢?shí)現(xiàn)方式大同小異。SPB被IEEE提議為802.1aq，它與TRILL很類似，但是它是使用現(xiàn)有生成樹(shù)協(xié)議來(lái)保持向后兼容的。與TRILL不同的是，SPB可以建立在現(xiàn)有的Ethernet芯片上。目前，TRILL和SPB都已接近完成，預(yù)計(jì)2011年底就能夠正式標(biāo)準(zhǔn)化。有些供應(yīng)商在他們的數(shù)據(jù)中心結(jié)構(gòu)中通過(guò)第三種方法多機(jī)架鏈路聚集 (M-LAG or MC-LAG)實(shí)現(xiàn)了多路徑。

未來(lái)網(wǎng)絡(luò)技術(shù)發(fā)展

軟件定義網(wǎng)絡(luò)發(fā)展原因是轉(zhuǎn)發(fā)平面與控制平面都需要橫向擴(kuò)展，平行分離，而控制平面的控制信息本身流量有限并可預(yù)計(jì)，所以人們就不需要昂貴的專門(mén)高性能轉(zhuǎn)發(fā)芯片處理控制信息，那么經(jīng)濟(jì)性解決方案就是控制平面由獨(dú)立可擴(kuò)展軟件實(shí)現(xiàn)，這就是軟件定義網(wǎng)絡(luò)，它的發(fā)展是對(duì)傳統(tǒng)網(wǎng)絡(luò)廠家封閉專有控制平面技術(shù)產(chǎn)生了的破壞性創(chuàng)新，將對(duì)網(wǎng)絡(luò)廠家變革導(dǎo)致巨大推力和影響。OpenFlow開(kāi)源控制平面協(xié)議便是其中一個(gè)著名代表。OpenFlow增加了網(wǎng)絡(luò)靈活控制能力，分布式節(jié)點(diǎn)智能通過(guò)OpenFlow指令得以實(shí)現(xiàn)，外部OpenFlow控制管理節(jié)點(diǎn)的實(shí)時(shí)控制，集中統(tǒng)一中央智能。OpenFlow根據(jù)運(yùn)行實(shí)況實(shí)時(shí)控制分布式節(jié)點(diǎn)，分布式節(jié)點(diǎn)生成快速轉(zhuǎn)發(fā)表，無(wú)須進(jìn)行復(fù)雜智能分析計(jì)算，只要執(zhí)行網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面功能。當(dāng)新轉(zhuǎn)發(fā)節(jié)點(diǎn)加入到OpenFlow網(wǎng)絡(luò)時(shí)，自動(dòng)從中央控制節(jié)點(diǎn)得的最新網(wǎng)絡(luò)配置信息，完成網(wǎng)絡(luò)自動(dòng)化感知。而中央控制節(jié)點(diǎn)基于x86標(biāo)準(zhǔn)服務(wù)器架構(gòu)，強(qiáng)大計(jì)算能力和橫向擴(kuò)展特性保證了控制平面擴(kuò)展性和經(jīng)濟(jì)性。

#p#

第四節(jié) 云計(jì)算虛擬化交換網(wǎng)絡(luò)——產(chǎn)品篇

云計(jì)算銷售市場(chǎng)爆發(fā)增長(zhǎng)，聰明的網(wǎng)絡(luò)廠家自然不會(huì)坐等商業(yè)機(jī)會(huì)來(lái)臨，而是主動(dòng)給力出擊，撲捉市場(chǎng)市場(chǎng)機(jī)會(huì)，這里就以Cisco、Juniper、Brocade和Force10為例，介紹他們適應(yīng)云計(jì)算虛擬化系統(tǒng)架構(gòu)。

Cisco FabricPath云網(wǎng)絡(luò)基礎(chǔ)架構(gòu)

FabricPath是思科NX-OS軟件交換機(jī)上的創(chuàng)新功能, 可以幫助客戶虛擬化數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)平滑擴(kuò)展，據(jù)稱可實(shí)現(xiàn)穩(wěn)定和可擴(kuò)展的二層環(huán)境路由功能，能夠并行多路徑數(shù)據(jù)轉(zhuǎn)發(fā)，思科之前又稱之為L(zhǎng)2MP（L2 Mutlipath）。FabricPath是TRILL基本功能加上“多重拓?fù)錁?shù)轉(zhuǎn)發(fā)”、“MAC地址學(xué)習(xí)基于會(huì)話層”、“VPC＋”、“FHRP”等許多高級(jí)功能，可以簡(jiǎn)單看作一個(gè)“增強(qiáng)版的TRILL”。

FabricPach不再需要運(yùn)行生成樹(shù)協(xié)議（STP）來(lái)防止環(huán)路，所有鏈路基于IS-IS協(xié)議建立并同時(shí)激活，沒(méi)有鏈路被阻斷，使用ECMP（等價(jià)多路徑，目前最多16條），顯然降低網(wǎng)絡(luò)延遲、大大增加了網(wǎng)絡(luò)傳輸帶寬，很好地支持了服務(wù)器之間由于虛擬機(jī)資源調(diào)度而迅速增加的東西流量。如圖14，由于FabricPath網(wǎng)絡(luò)引入新的二層數(shù)據(jù)轉(zhuǎn)發(fā)平面，網(wǎng)絡(luò)幀頭包括可路由的源和目的地址，中間幀以源交換機(jī)地址作為幀源地址，以目的交換機(jī)地址作為幀目的地址，正常以太網(wǎng)幀在進(jìn)入FabricPath邊緣交換機(jī)時(shí)被加入FabricPath幀頭，在退出FabricPath邊緣交換機(jī)被去除FabricPath幀頭。簡(jiǎn)單來(lái)說(shuō)，F(xiàn)abricPath就是Mac in Mac方式，轉(zhuǎn)發(fā)平面是在普通以太網(wǎng)幀疊加上交換機(jī)地址，做到交換路由轉(zhuǎn)發(fā)（當(dāng)然需要加上TTL，因?yàn)門(mén)ime To Live可以防止無(wú)限循環(huán)）。對(duì)于不支持FabricPath的網(wǎng)絡(luò)設(shè)備， FabricPath網(wǎng)絡(luò)對(duì)已部署的接入設(shè)備來(lái)說(shuō)是一個(gè)透明連接。在支持FabricPath的設(shè)備上將端口配置為FabricPath模式，系統(tǒng)會(huì)自動(dòng)完成地址分配、路由建立等行為，無(wú)需手動(dòng)干預(yù)。2010年Cisco在Nexus 7000交換機(jī)上發(fā)布了一塊支持FabricPath的32口萬(wàn)兆光纖板卡，以及相應(yīng)的軟件。

圖14 思科FabricPath轉(zhuǎn)發(fā)機(jī)理圖 來(lái)源：www.cisco.com

Dell Force10 開(kāi)放云網(wǎng)絡(luò)體系架構(gòu)Open Cloud Networking (OCN)

戴爾公司于2011年8月收購(gòu)Force10 Networks, 從此這個(gè)以高性能數(shù)據(jù)中心網(wǎng)絡(luò)名聞天下的網(wǎng)絡(luò)公司成為戴爾開(kāi)放企業(yè)級(jí)解決方案的重要一員。Dell Force10新一代數(shù)據(jù)中心架構(gòu)產(chǎn)品完全基于TRILL，目前用戶可選擇核心方案是Z9000機(jī)架交換機(jī)（如圖16），多臺(tái)Z9000全網(wǎng)狀互聯(lián)一起來(lái)實(shí)現(xiàn)分布式核心網(wǎng)絡(luò)解決方案，每臺(tái)Z9000具備32個(gè)40 GbE固定端口高性能核心節(jié)點(diǎn)交換機(jī)。邊緣節(jié)點(diǎn)是S4810，可配置64個(gè)萬(wàn)兆或48個(gè)萬(wàn)兆加4個(gè)40G，支持DCB、TRILL、EVB和VLT（跨交換機(jī)多鏈路），可以智能感知虛擬化網(wǎng)絡(luò)，具備豐富虛擬化交換網(wǎng)絡(luò)功能。

為了將10 GbE服務(wù)器連接到Z9000上，我們需要使用一條4端口多芯軟光纜將一個(gè)QSFP+端口拆分成4個(gè)10 GbE端口。這使Z9000擴(kuò)展到2 RU成128個(gè)服務(wù)器端口。對(duì)于尋求更高豎向性能的企業(yè)而言，F(xiàn)orce10未來(lái)還準(zhǔn)備交付Z9512高性能模塊交換機(jī)，它可以配備4個(gè)端口100 GbE接口卡，提供了8個(gè)端口40 GbE，40個(gè)端口10 GbE兩種選擇，然用戶可以容易在豎向擴(kuò)展和橫向擴(kuò)展之間找到平衡點(diǎn)，同時(shí)提高了數(shù)據(jù)中心結(jié)構(gòu)市場(chǎng)的帶寬水平。除了未來(lái)預(yù)計(jì)交付核心節(jié)點(diǎn)Z9512解決方案外，Dell Force10還準(zhǔn)備推出S7000三合一邊緣節(jié)點(diǎn)，可同時(shí)支持12個(gè)光纖通道接口、同萬(wàn)兆或FCoE萬(wàn)兆，從而核心節(jié)點(diǎn)和邊緣節(jié)點(diǎn)都升級(jí)到超低延遲和新的擴(kuò)展層次。

圖16 Dell Force10下一代數(shù)據(jù)中心分布式網(wǎng)絡(luò)拓?fù)鋱D（40G互聯(lián)）

#p#

第五節(jié) 云計(jì)算虛擬交換網(wǎng)絡(luò)市場(chǎng)——總結(jié)篇

根據(jù)IDC統(tǒng)計(jì)，到2014年底，公共云市場(chǎng)容量發(fā)展到2015年729億美金，云網(wǎng)絡(luò)廠家在這股商業(yè)大潮，各顯英雄本色，努力展現(xiàn)自己獨(dú)特價(jià)值。下面就讓我們總結(jié)分析一下商業(yè)趨勢(shì)和技術(shù)趨勢(shì)。

商業(yè)趨勢(shì)

當(dāng)新產(chǎn)品或解決方案出現(xiàn)時(shí)，網(wǎng)絡(luò)廠家為了保留老客戶和更好服務(wù)，通常會(huì)選擇邊緣層或核心層方面讓新產(chǎn)品保持與現(xiàn)有產(chǎn)品部分兼容，以混合方式組網(wǎng)部署，或者在核心層升級(jí)到新架構(gòu)，或直接替換邊緣層設(shè)備，不同層次的新舊產(chǎn)品之間兼容程度對(duì)客戶選擇決策影響非常大，因?yàn)榫W(wǎng)絡(luò)架構(gòu)與服務(wù)器或存儲(chǔ)架構(gòu)不一樣（它們常常通過(guò)平臺(tái)或應(yīng)用方式平滑升級(jí)，降低了架構(gòu)變化對(duì)上層影響），新舊網(wǎng)絡(luò)架構(gòu)之間通常必須互聯(lián)互操作。隨著數(shù)據(jù)中心爆炸規(guī)模發(fā)展，作為高新科技行業(yè)，每個(gè)廠家核心優(yōu)勢(shì)體現(xiàn)不是成本領(lǐng)先，而是顯著差異化價(jià)值，其往往一方面體現(xiàn)在包括每U高度端口密度、端口帶寬、每端口耗電、設(shè)備轉(zhuǎn)發(fā)延遲時(shí)間、包轉(zhuǎn)發(fā)速度與系統(tǒng)擴(kuò)充能力等，另一方面是因機(jī)架空間節(jié)省、線纜節(jié)省、耗電節(jié)省、管理人員節(jié)省而帶來(lái)的總擁有成本節(jié)省。實(shí)際上，每個(gè)廠家由于進(jìn)入市場(chǎng)時(shí)間點(diǎn)不同，客戶定位不同，解決方案也很大不同，結(jié)果是架構(gòu)整體表現(xiàn)在不同客戶、不同應(yīng)用和不同場(chǎng)合也都非常不同，通常都會(huì)把他們表現(xiàn)最好的一面展現(xiàn)到用戶和媒體前面。除了客戶產(chǎn)品定位外，網(wǎng)絡(luò)廠家市場(chǎng)覆蓋方式也各不相同，有直接模式、全渠道模式或混合模式，每種模式對(duì)產(chǎn)品到市場(chǎng)、客戶接受速度和盈利都非常不一樣，由于篇幅所述，這里就不多講了。

仔細(xì)思考一下，網(wǎng)絡(luò)廠家產(chǎn)品的客戶價(jià)值其實(shí)存在于控制平面和轉(zhuǎn)發(fā)平面兩個(gè)方向。我們知道，網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面都采用硬件實(shí)現(xiàn)，一般會(huì)建立在高效芯片架構(gòu)基礎(chǔ)之上，而在摩爾定律下，芯片性能每十八個(gè)月就會(huì)提升一倍，所以一般來(lái)說(shuō)網(wǎng)絡(luò)新進(jìn)入者后來(lái)者或小廠家會(huì)利用最新科技成果，研發(fā)設(shè)計(jì)基于最新架構(gòu)的全新轉(zhuǎn)發(fā)平面，體現(xiàn)比如延遲、帶寬、密度和能耗等差異化價(jià)值，與競(jìng)爭(zhēng)對(duì)手拉開(kāi)差距。但是控制平面所體現(xiàn)價(jià)值過(guò)程與轉(zhuǎn)發(fā)平面完全不同，控制平面需求與客戶應(yīng)用耦合度很高，甚至不同客戶群有完全不同控制和管理要求（比如電信網(wǎng)絡(luò)和普通企業(yè)需求差別就非常大），領(lǐng)先市場(chǎng)廠家往往由于先前系統(tǒng)架構(gòu)限制，在經(jīng)濟(jì)學(xué)“路徑依賴”原理下，無(wú)法放棄原有架構(gòu)，只能基于原有架構(gòu)的局部升級(jí)，好在領(lǐng)先廠家往往有大量和長(zhǎng)時(shí)間的客戶安裝基礎(chǔ)，所以領(lǐng)先者會(huì)不斷積累客戶前端反饋，改善提高產(chǎn)品控制平面，另一方面因?yàn)榭刂破矫嫱攒浖?shí)現(xiàn)，易于升級(jí)，不但如此，領(lǐng)先者里會(huì)積極建立圍繞在控制平面周圍的生態(tài)伙伴，開(kāi)放應(yīng)用接口、培育忠實(shí)技術(shù)粉絲，發(fā)展更多更好的服務(wù)伙伴，形成龐大的利益共同體，交付給客戶包括控制、管理平面和服務(wù)在內(nèi)一站式方案。所以我們?cè)诰W(wǎng)絡(luò)解決方案選擇決策時(shí)需要根據(jù)業(yè)務(wù)要求，不同業(yè)務(wù)工作負(fù)載類型不一樣，對(duì)IT資源消耗也就不一樣，需要平衡轉(zhuǎn)發(fā)平面和控制平面帶來(lái)的不同經(jīng)濟(jì)性影響，對(duì)它們做具體經(jīng)濟(jì)分析。

技術(shù)趨勢(shì)

云計(jì)算虛擬化到來(lái)，核心擴(kuò)展是彈性計(jì)算實(shí)現(xiàn)最有效方式之一，因此幾乎所有網(wǎng)絡(luò)廠家極力開(kāi)發(fā)提供按需橫向擴(kuò)展的核心層解決方案，核心層設(shè)備以100G或40G互聯(lián)，不過(guò)由于橫向擴(kuò)展節(jié)點(diǎn)之間也需要超低延遲同步，所以核心機(jī)箱橫向最大數(shù)目有限制，比如4到8臺(tái)。核心層節(jié)點(diǎn)之間無(wú)協(xié)議轉(zhuǎn)換發(fā)生，利用高速轉(zhuǎn)發(fā)平面芯片充分利用最大包轉(zhuǎn)發(fā)率和帶寬極限，達(dá)到極速轉(zhuǎn)發(fā)。因?yàn)楹诵墓?jié)點(diǎn)芯片性能高，成本也高，為了降低客戶使用成本和利用最大容量，消除生成樹(shù)協(xié)議，提供跨機(jī)箱Trunk技術(shù)，以并行無(wú)生成樹(shù)協(xié)議下聯(lián)就是來(lái)自用戶的技術(shù)訴求。由于核心節(jié)點(diǎn)橫向擴(kuò)展數(shù)目有限，為了更高性能或擴(kuò)展性，廠家同時(shí)堅(jiān)持核心層豎向擴(kuò)展，提供高密度、高容量和高帶寬接入，比如一些廠家單機(jī)箱可支持300個(gè)萬(wàn)兆、數(shù)十個(gè)40G。所以橫向擴(kuò)展架構(gòu)和豎向擴(kuò)展架構(gòu)是相互作用過(guò)程，不同產(chǎn)品定位就需要不同擴(kuò)展架構(gòu)技術(shù)。

核心層橫向擴(kuò)展，邊緣層更是如此。網(wǎng)絡(luò)廠家不遺余力支持邊緣層按需橫向擴(kuò)展，包括使用虛擬機(jī)箱技術(shù)或堆疊技術(shù)、多鏈路綁定上聯(lián)、消除生成樹(shù)等技術(shù)以10G或40G上聯(lián)到核心。邊緣節(jié)點(diǎn)接口方面提供高密度、混合多端口一體機(jī)頂交換機(jī)，混合接口一般支持千兆、萬(wàn)兆、FCoE、FC和iSCSI，并支持TRILL或SPB協(xié)議，支持二層路由多路徑，接入到二層核心層。邊緣節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)或存儲(chǔ)節(jié)點(diǎn)相連，通過(guò)支持EVB、VEPA等虛擬主機(jī)協(xié)議智能感知虛擬計(jì)算節(jié)點(diǎn)，完成虛擬移動(dòng)性策略漂移。可是邊緣層發(fā)展情況比較復(fù)雜，目前業(yè)界還沒(méi)有邊緣層統(tǒng)一標(biāo)準(zhǔn)，各個(gè)網(wǎng)絡(luò)廠家八仙過(guò)海，各顯神通。除了虛擬計(jì)算智能外，邊緣層還常常擔(dān)負(fù)網(wǎng)絡(luò)增強(qiáng)服務(wù)角色，比如負(fù)載均衡、防火墻、入侵檢測(cè)和日志記錄等，這也是業(yè)界發(fā)展的重要方向。

作者簡(jiǎn)介

李海平，郵件：haipingli@139.com, 新浪微博”行云流水萬(wàn)泉河”，近20年IT行業(yè)市場(chǎng)和管理經(jīng)驗(yàn)，清華大學(xué)畢業(yè)，香港科技大學(xué)MBA，信息化及網(wǎng)絡(luò)應(yīng)用專家CCIE#4435(R&S、SNA/IP)，熱衷研究應(yīng)用經(jīng)濟(jì)學(xué)、商業(yè)管理和IT產(chǎn)業(yè)，在云計(jì)算經(jīng)濟(jì)分析、IT商業(yè)分析、IT與組織業(yè)務(wù)整合，以及應(yīng)用架構(gòu)、虛擬化、服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)等多方面有多年經(jīng)驗(yàn)，目前是國(guó)際分布式管理任務(wù)工程組(DMTF)會(huì)員、國(guó)際存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA) 會(huì)員、外設(shè)組件互聯(lián)標(biāo)準(zhǔn)化組織(PCI-SIG)會(huì)員和串行ATA國(guó)際組織會(huì)員，目前負(fù)責(zé)戴爾公司大中華區(qū)刀片服務(wù)器及網(wǎng)絡(luò)業(yè)務(wù)，積極推動(dòng)中國(guó)客戶發(fā)展新興技術(shù)，應(yīng)用戴爾全球客戶最佳實(shí)踐。