Part 01

簡介 

作為目前傳統數據中心網絡的面臨著如下幾個痛點：

? 交換機MAC表限制

虛擬化技術的應用，使目前數據中心的服務器上都運行著大量的虛擬機，每個虛擬機都包含至少一個MAC地址，我們知道二層轉發需要交換機學習MAC地址，這會導致ToR交換機需要學習的MAC表數量指數級增長，一旦MAC表溢出，就會造成交換機泛洪，影響轉發效率^[1]；

? 租戶數量的限制

傳統的數據中心內是通過VLAN進行租戶隔離，不同的租戶會被劃分到不同的VLAN中，而VLAN報文中用來表示用戶標識的VID的長度為12位，也就說最多可以容納212-2=4094個租戶（通常0和4095作為保留值），而對于大型的數據中心來說，這個數量的租戶遠遠不夠用，會讓網絡擴展受到限制；

? 虛擬機遷移的限制

數據中心會出現服務器的硬件擴容或者機房遷移的情況，此時虛擬機需要被遷移到其他的服務器上來避免對業務的影響，虛擬機的MAC和IP地址需要保持不變，因此遷移只能發生在二層網絡內，對業務的靈活性產生了極大的限制【2】；

為了解決以上數據中心的問題，RFC 7348提出了虛擬可擴展局域網的概念，即VXLAN（Virtual eXtensible Local Area Network），將原始的二層報文通過VXLAN隧道頭封裝在IP報文中，使原始報文可以跨二層網絡進行傳輸。

圖1 VXLAN報文結構

上圖為一個標準的VXLAN格式報文，其可以分為三個部分：

1、最外層為VXLAN隧道的底層網絡封裝，用來在VTEP之間傳輸；

2、中間為VXLAN隧道頭部，基于UDP協議承載；

3、最內層為想要傳輸的原始報文內容，包括以太頭、IP頭以及報文數據，即虛擬機網卡發送出來的報文；

其中VXLAN頭部長8個字節，包括以下內容：

VXLAN Flag（8位）：固定取值為00001000；

VNI（24位）：網絡標識符，用來定義不同的租戶；

保留字段：有兩處，分別為24位和8位；

圖2 VXLAN抓包

上圖為VXLAN的抓包，其VNI值為100，基于UDP協議傳輸，源端口隨機生成，目的端口為4789。

從以上的VXLAN報文格式中可以看出VXLAN隧道是如何解決數據中心面臨的3個主要問題的：

1、VXLAN使用UDP進行封裝，UDP外層的MAC為VTEP物理出口的MAC地址，通常一個物理機會對應一個VTEP被該臺機器上所有的虛擬機使用， 這樣對于ToR交換機來說，一臺服務器只需要記錄一條MAC表即可，避免了MAC表暴漲的問題^[1]；

2、VNI24位的長度可支持超過1600萬數量的租戶，網絡中租戶隔離的數量不會再受到限制，后續網絡的拓展也變得極其靈活；

3、VXLAN采用MAC in UDP的方式來進行封裝傳輸，對二層網絡進行了延伸，不同地域間的數據中心也可通過UNDERLAY三層網絡實現大二層的連接，實現了物理網絡和虛擬網絡的解耦。網絡規劃不再受物理網絡的限制，可實現虛擬機無損遷移，即IP和MAC地址保持不變^[2]。

Part 02

 VXLAN隧道在云網關中的應用 

圖3 云網關方案架構圖

目前中國移動正在大力推進云網關的研發和落地，其中一種方案為將云網關作為BRAS后一個網元部署在省側或者地市機房。如圖三所示，該網絡架構使用VXLAN隧道對用戶報文進行接入和終結，即每個白盒網關（ONU）會和云網關之間創建一條VXLAN隧道，分配到唯一的VNI標識，終端的報文在ONU被封裝上VXLAN隧道并轉發到云網關，云網關對報文解封裝獲取到內層原始報文，根據報文的類型進行不同的處理，該云網關架構把傳統家庭網關大部分控制面的功能以及增值業務都上移到了BRAS之后的云網關系統進行統一處理。

簡單來說，在云網關場景下用戶上網過程為：1、白盒網關發起PPPOE撥號，從BRAS獲取到可上網的IP；

2、以PPPOE撥號獲取的IP作為local IP，以及預先分配好的VNI值，和云網關之間創建VXLAN隧道；

3、用戶終端（如手機、PC等）發起DHCP請求，在白盒網關封裝上VXLAN隧道轉發到云網關，VXLAN報文在云網關被解封裝并將原始報文透傳到云網關控制面，DHCP服務器分配一個內網地址給終端，同時將網關、DNS信息等一并發送回終端；

4、用戶發起對網關的ARP請求，報文同步驟三一樣被透傳到控制面，網關回應ARP REPLY；

5、終端用戶正常上網（包括DNS），報文到達云網關，通過策略判斷是否訂購了增值業務：

（5.1）非增值業務用戶，使用公網IP做NAT，進行公網卸載轉發；

（5.2）增值業務用戶，發送到業務服務器，根據具體訂購的業務進行后續處理，對報文進行丟棄、加速或者回注等操作；

該方案使用VXLAN隧道進行用戶接入，白盒網關作為VTEP，對上行的原始報文進行VXLAN隧道的封裝，使其可以順利穿越三層網絡到達云網關并解掉封裝進行后續處理。有如下優點：

1、VXLAN隧道天然支持租戶隔離，不同寬帶用戶可以使用VNI進行區分，而且24位的VNI足夠使用；

2、VXLAN作為二層隧道，相比于如GRE、IPIP等三層隧道，可以將原始的用戶信息完整地上送到云網關，設備的源MAC信息可以用來做增值業務，如對具體的設備做管控、限速等操作。

Part 03

VXLAN隧道穿越NAT 

VXLAN隧道不是傳統C/S模型，VTEP兩端都是監聽UDP4789目的端口，而源端口為隨機生成。圖四簡單說明了從用戶白盒網關發出的VXLAN報文經過BRAS設備的NAT處理后的五元組變化情況，如圖所示，假設家庭網關上行報文封裝的VXLAN源端口為隨機的1234，經過BRAS做SNAT之后變成5678，因為目的端口仍然為4789，云網關可以正常收到并處理；當報文下行時會被封裝上目的4789端口，相應地BRAS需要對其做DNAT，但是BRAS上只存在1234->5678的NAT會話映射，而此時報文的目的端口為4789無法找到正確的NAT會話，因此報文會在BRAS被丟棄，無法支持穿越NAT。

圖4 VXLAN報文經過NAT設備流程

云網關系統的VXLAN隧道進行了如下改造：

1）白盒網關封裝VXLAN報文時源端口和目的端口均固定為4789；

2）云網關記錄上行報文的VNI和源端口的映射關系，在下行報文封裝VXLAN時將記錄的源端口作為目的端口進行封裝。 

經過上述改造后，家庭網關封裝VXLAN時將外層UDP的源和目的端口都填充為4789，上行經過BRAS時源端口被SNAT成Y，目的端口保持4789，報文被云網關正常接收和解封裝，此時記錄VNI和源端口信息；報文下行時根據VNI查詢到源端口信息Y，將其封裝到VXLAN隧道的外層UDP目的端口，經過BRAS時可以找到對應的4789->Y的NAT會話，目的端口被還原成4789，家庭網關可以順利收到并解封裝VXLAN報文。

Part 04

總結 

VXLAN隧道作為一個廣泛使用的大二層隧道技術，將物理網絡和虛擬網絡解耦，具有傳統局域網絡不可比的擴展性和靈活性，24位長度的VNI也能完全滿足大量租戶隔離的需求。目前，中國移動智慧家庭運營中心已經完成基于VXLAN隧道架構的云網關自研，并在多省完成試點部署，形成了完整的端到端解決方案。