大二層建設網絡扁平化數據中心
面對SDN的橫空出世,大二層網絡的聲音似乎淹沒在一片對SDN的討論中。是默默發展積聚力量,不斷為用戶所采用,還是即將銷聲匿跡,成為技術變革的匆匆過客。大二層網絡的準備工作已經完成,技術標準基本完成,各網絡廠商基于標準的產品也已經上市一段時間,期間陸續有互通性的測試。但是,從應用的角度來看,真正使用SPB(Shortest Path Bridging,最短路徑橋接)和TRILL(Transparent Interconnection of lots of links,多鏈路透明互聯)構建網絡的案例并不多,并沒有呈現出井噴的態勢。
SPB已經在去年三月份正式通過,而作為IETF協議族的TRILL,其基礎協議也已經完成,有一些協議文稿標準化發布。
由于TRILL網絡中數據報文轉發可以實現ECMP和最短路徑,因此采用TRILL組網方式可以極大提高數據中心數據轉發效率,提高數據中心網絡吞吐量。
另外,每個地點需要傳遞3層可達性信息到網絡中的其他站點。最佳做法往往是動態路由,最好是路由的配置盡可能在目前這種網絡需要大改動的情況下少改動。使得第三個地點數據中心B(DCB)相對于最初的主數據中心(MDC)地點和數據中心A(DCA)地點的網絡而言,能夠把數據中心的網絡DCA遷移到DCB。整個SPB交換結構有兩個OSPF 路由的VLAN, 配置用于連接MDC和DCB,每個VLAN在每個數據中心核心節點上均配置IP地址,以及打開交換集群功能。
即使是在未來的網絡擴容中,也可以只是在邊緣位置調整,而不必再改變網絡核心的設置。SPB 核心功能包含了IS-IS路由、SPB全局設置和連接故障檢查。
在SPB核心上,只需要兩個骨干VLAN,使得IS-IS在有多條等價路徑存在的時候,能夠計算出等價樹,從而把多個VSN的流量進行負載均衡。這就不得不解釋一下IS-IS 協議,IS-IS 協議工作在網絡2層,不需要在鏈路上配置IP地址,用二層的地址即可構成相鄰關系,這種相鄰關系與OSPF非常類似。在SPB交換機之間,只需要一個 IS-IS連接。由于原有設備節點已經啟用交換集群功能,交換集群內部互聯的鏈路匯聚中繼以及交換集群之間(核心到匯聚,核心到核心)的鏈路將啟用SPB 和IS-IS。連接故障檢查和銜接性檢查是為了提供快速故障探測。
特別是TRILL,支持者眾多,但是使用者寥寥,能夠發布具體使用案例的更是少之又少。與此相對的卻是一些成熟技術的大量應用,這些技術植根于各廠商各自的產品中,可以很好的實現中小規模大二層網絡的構建。
在具體應用中,SPB也在與其他技術相結合來使用,以阿爾卡特朗訊為例,“大二層技術的演變一直延續著當初的設計線路,將SPB與vNP技術結合,保證虛擬機在整個數據中心內部無縫遷移,同時保證其安全、QoS和轉發優先級在全網的一致性;SPBMS與PBB、VPLS結合,保證多數據中心的互通以及虛擬聚合。”
“大二層技術一直在發展,最初用戶的需求來源于大規模虛擬化環境的需要,來源于數據中心橫向流量劇增的需求。但是在實現大二層矩陣的過程中,用戶會發現網絡自動化越來越重要。”。
SPB是一個純二層網絡,對于分散在不同區域位置的數據中心間的數據轉發而言,尚有不足。正在推進的部分則是探討了用EVPN方式來通過BGP來擴展二層。雖然現在支持TRILL和SPB的產品很多,各網絡廠商幾乎都發布了支持其中之一的產品,也有廠商表示在支持兩個標準。但是從應用情況來看,目前TRILL和SPB的案例并不很多。與討論的熱度相比,應用似乎有一點“雷聲大,雨點小。”我們曾經分析了挪威奧斯陸大學國家醫院在網絡建設中的嘗試。在這個案例中,是通過創建一個通用網絡來把已合并在一起的三家醫院網絡順利合并起來。具體要求是網絡可以橫跨全部三家醫院,并且可以支持、分割和傳輸服務。
管理人員也能分享最佳實踐,推廣優秀創新,連接不同地點的專家醫師,讓工作場所更加靈活。同樣是利用基于SPB的Avaya 的VENA架構,亞洲的用戶也開始部署,在印度的孟買機場以及日本的中部高鐵公司(JR TOKAI)都已經或正在實施,“用戶通過VENA的部署可以在統一的物理平臺上同時部署多種跨地域的數據中心及城域范圍的應用。”
但應用思科FabricPath技術來組網的應用已經出現。FabricPath是TRILL協議的一個擴展集,可以看作是一個“增強版的TRILL”。在中華電信開始提供HiCloud CaaS(Compute as a Service,計算即服務)服務中,利用OTV 和 FabricPath 技術的聯合使用,讓HiCloud 群組云數據中心真正實現了只有一個單一虛擬云端機房的目標。
我們認為國內用戶在大二層的應用還在培育期,目前還沒有殺手級的應用迫使用戶在這方面轉型。而未來大規模高可用數據中心的建設、 SDN的出現,會使大二層的應用繼續深入人心。
使用SPB或者TRILL構建的網絡與傳統網絡有所不同,而使用這兩種技術的核心層不能做網關設備,疊加的結果從某種程度上會導致結構復雜,管理難度增加,而運維成本也會上升。另一方面是互通性的問題,盡管現在已經進行了幾次廠商間的互通性測試。
國內這種超大型數據中心的建設本身并沒有太多。而廠商推出的另外一些技術恰巧可以在中型規模的數據中心中構建一個大二層的網絡,而這些技術已經存在了很多年,雖然在當初出現的時候,并不是為了大二層而來,但是卻可以達到這樣的效果,所以在用戶中有了更廣泛的應用。
實際部署的大量應用的卻是其他的技術。在這個問題上,網絡廠商各有高招,比如:思科有VSS、H3C有IRF技術、博科有VCS網絡架構、極進網絡采用跨機箱鏈路捆綁技術、銳捷有VSU技術、神州數碼網絡有VSF技術、戴爾網絡有VLT技術等等。這些技術有很大的相似性,都可以實現將多臺網絡設備虛擬成一臺網絡設備,并且將這些設備作為單一設備管理和使用。在虛擬化成一臺邏輯設備的同時,網絡各層間的鏈路連接也將變成兩臺邏輯設備間的連接。所不同的是實現多臺虛擬的具體數量。這樣做的好處是網絡拓撲結構得到簡化,性能得到提升,而管理的工作也可以有效簡化。以H3C的IRF為例,“IRF把多臺設備變成了一臺設備,具有統一的管理、統一的轉發表,沒有環路,也不需要雙機熱備。所以IRF能簡化網絡架構的設計。”
在幾百到幾千臺服務器規模的數據中心中,這類技術得到了廣泛的應用。神州數碼網絡(DCN)在政府林業數據中心和教育行業省級遠程教育平臺的數據中心都應用了VSF來組建網絡。往往用戶在構建新一代數據中心時會使用多種技術來配合。在政府林業數據中心中,核心虛擬化轉發與ToR接入、SAN自動化融合三者聯合實現了數據中心網絡的升級。不僅用在突破了傳統網絡結構中單臺核心設備的性能及端口密度限制以及核心設備實現跨設備的鏈路聚合的需求。
另外一個互聯網的案例是來自中國,是社會化搜索引擎的云云網。這個網站每日用戶訪問量達到1億人次,數據搜索業務服務量突破10億次。在網絡建設上,采用了戴爾分布式的網絡平臺的做法。具體來說,首先,云云網使用了2臺交換機作為網絡核心層交換機,該交換機通過16對10GB光纖線纜與另外1臺交換機相連,形成一個160GB的數據通路,為數據庫群集提供網絡服務;同時核心層交換機通過16對10GB光纖線纜與另外2臺交換機相連,為應用群集提供數據交換服務。“這是利用Z9000建立分布式-核心架構,替代傳統的大機框設計的一種成功的創新應用,節省大量的機架空間、能耗和總擁有成本。”在比較早應用40G網絡的國內某石油物探研究院高性能計算網絡,最近又有了新的升級,核心層采用的極進網絡BD X8,用跨機箱鏈路捆綁技術互聯,采用了存儲云的設計,“網絡整體采用大二層改造后,存儲節點和計算節點之間,由過去的多次轉發簡化為單次轉發,最大的縮短了存儲和計算節點之間的時延,提高工作效率,節省計算和數據傳輸的時間。”
雖然QFabric在全球部署并不多,但是在那之前的虛擬機箱技術其實已經非常成熟并且開始多處使用了。優酷網就是一個典型案例。具體而言,優酷網網絡分為了內網OA和外網兩個部分,內網OA有內部數據同步等需求,網絡主要需求是在設備的端口數量和服務質量;在外網的需求則主要是互聯。其網絡中采用了跨交換機的VLAN架構,因此需要在接入層到匯聚層之間采用二層方式互聯。接入層交換機分兩組實現到匯聚層的上聯,3臺匯聚層交換機構成虛擬機箱,實現到接入層的多個接口互聯。此外,接口密度、系統冗余度等虛擬機箱的特點也滿足了用戶需求。
如果新技術和原有技術是替代關系的話,那么對原有技術而言,新技術也可以稱之為敵人。但是,對大二層而言,與SDN的關系卻是一種又“愛”又“恨”,非常復雜。SDN的出現搶了大二層的風頭,但其實質卻并非如此簡單。
“SDN可以實現大二層的功能,但是SDN本身的演進和推廣面臨的挑戰更大。”而蔣波也認為,大二層是SDN的基礎,他解釋說:“SDN的初始網絡通路,要求各網絡設備節點與控制器之間有 TCP上的連通,OpenFlow 等管理和控制協議才能在這條通道上傳輸應用,控制器才可能將有各種靈活的轉發流表下發到網絡節點上。而這個初始的網絡通路,如果是要通過三層路由才可達,那就反而增加了這條通路建立的復雜度以及設計成本,與 SDN原意不符合。”沈之千認為,大二層和SDN是互補的技術。SDN通過網絡可編程化將傳統網絡的控制部分脫離出來,其核心在于軟件化網絡部署,自主化網絡數據轉發和實現用戶創新的網絡模型。但是SDN依賴的網絡基礎架構并非是一個結構復雜、路徑阻斷、網絡隔離的傳統架構,而是需要能夠在底層實現簡化架構、實現自我隔離、自我收斂和自我擴展的矩陣架構。