線外串擾對數據中心網絡的影響
本文主要將闡述線外串擾對數據中心布線的影響。雙絞線的線外串擾并不是一個新鮮事物,早在近10年前就有人提出這個概念,當時因為受到測試手段的制約以及當時的網絡對線外串擾并不敏感,所以沒有得到重視。但隨著近年來萬兆以太網10Gbase-T在數據中心內得到普遍的應用,線外串擾的影響變得越來越明顯。
一、 什么是線外串擾
線外串擾即Alien Crosstalk,又名線間串擾。顧名思義,主要指的是是描述成束布放的電纜之間,信號能量耦合現象的術語。其概念與線纜內部的近端串擾(NEXT)極為相似。線外串擾影響最大的就是下圖這樣的所謂6包1的情況。中間的這根雙絞線線纜受到周圍6根線纜中耦合過來的能量的干擾。特別是絞距比較大的線對受到的影響更大。
線外串擾又分為ANEXT和AFEXT,如下圖所示,ANEXT就是在相鄰的2個通道上,一個接收端(RX2)收到了同一端另一根線纜發射端(TX1)耦合過來的能量。AFEXT就是RX4受到了TX1耦合過來的能量。
過去對線外串擾不重視的原因是線纜內部的NEXT和FEXT的影響遠遠大于線外串擾。但是隨著DSP技術的進步。無論是NEXT,FEXT,還是RL都可以得到相當的過濾。所以線外串擾這種無法采用有源手段主動消除的干擾就變成了制約信噪比的最大麻煩。
二、數據中心常用以太網傳輸編碼與信噪比
我們要理解線外串擾對以太網絡傳輸造成的影響,首先就需要對傳輸的編碼方式與信噪比,誤碼率的關系作一定的了解。通常數據中心在HDA到PC服務器這一段多采用的是基于雙絞線傳輸的以太網方式,而在數據中心目前最常用的以太網標準是1000Base-T,或者1000Base-TX,部分數據中心已經開始采用10G Base-T。所以本文將主要研究這三種標準與線外串擾之間的關系。本文將從這三種標準的調制方式入手,分析他們的極限信噪比,再對比所用傳輸介質所能達到的信噪比,最后來看線外串擾對這三種標準的影響到底有多大。
這三種以太網標準采用的都是PAM(脈沖調幅)調制方式,根據奈奎斯特抽樣定律,脈沖符號率至少是頻率的2倍,比如一個正電平脈沖符號和一個負電平脈沖符號可以組合成1個正弦波。反過來說,也就是1個正弦波最少可以攜帶2個脈沖符號。1個脈沖符號可以攜帶多個bit(也就是計算機里的0和1),但是具體能帶多少,則取決于調制和編碼的方式(可以脈沖符號bit率這個指標來衡量)。我們將脈沖符號bit率*脈沖符號速率*傳輸線對數就可以得出整個傳輸系統的bps了。
我們知道香農公式(Shannon)可以用來描述給定傳輸帶寬和信噪比的極限傳輸速率。這樣我們知道了脈沖符號bit率,我們就可以計算出所需的極限信噪比。具體公式為: 其中C為脈沖符號bit率,S /N為信噪比。
再來看調制方式,1000Base-T(IEEE 802.3ab)采用4D-PAM5調制方式(1000Base-TX ,即TIA/EIA-854標準 是1000Base-T的升級版,調制方式相同)。10Gbase-T采用PAM16+DSQ+LDPC(2048,1723)調制和編碼方式。這樣我們就能根據調制方式和上面的公式計算出如下表格內的數據。
![]() |
表1 |
上面表格中的極限信噪比并不代表我們可以在這樣的環境下取得滿意的傳輸效果,如果在極限信噪比下,根據理論計算誤碼率大概在31%左右,這樣的網絡顯然無法讓人接受。所以IEEE規定了誤碼率的要求。1000Base-T/TX的誤碼率必須達到10-10,10GBase-T的誤碼率必須達到10-12,所以需要將信噪比提高一個檔次(這個檔次被稱為Gap),根據計算10-10需要提高11.3dB, 10-12需要提高12.25dB。 同時高效的糾錯編碼能夠降低對信噪比的要求,。所以綜合來看以太網傳輸所要求的最低信噪比的計算公式為:
系統允許最低信噪比=極限信噪比+Gap-編碼增益。
經過計算我們得出了數據中心常用的三種以太網標準的系統允許最低信噪比,入下表格:
![]() |
表2 |
三、數據中心內使用的布線系統與線外串擾對信噪比的影響
上面的表格已經得出了以太網傳輸所需要的最低信噪比,下面我們來看我們數據中心的傳輸線纜的信噪比能不能符合系統傳輸的要求。目前數據中心的綜合布線中通常用于數據傳輸的主要是Cat6類,Cat6A類線纜也就部分采用(Cat5E 現在幾乎沒有數據中心采用做為數據傳輸用途了,所以不在本文研究范圍之內)。信噪比可以根據標準中規定的數據根據如下公式計算出來(均假設為UTP線纜)。
SNR(dB)=信號-插入損耗-綜合近端串擾-綜合遠端串擾-回波損耗-線間串擾(Cat 6A)-環境噪聲+近端串擾處理增益+遠端串擾處理增益+回波損耗處理增益。
我們來看其中的各個部分,信號我們取IEEE標準中規定的最大PSD;IL,PSNEXT,PSFEXT, RL, PSANEXT, PSAFEXT, PSAFEXT取TIA568C.2標準中的規定最小數值;環境噪音經過研究,一般數據中心內部都在-150dbm下,所以這里忽略不計。目前DSP對內部干擾的處理增益至少可以做到(SOLARFLARE的數據)
![]() |
表3 |
通過上面的公式和數據,我們可以計算出,在極限情況下(雙絞線測試結果的余量均為0),三種以太網標準在不同布線系統上的表現。
![]() |
表4 |
從上面的計算結果可以看出,不考慮線外串擾的因素,千兆網絡比萬兆的信噪比余量要高出10多個dB ,也就意味著1000Base-T對干擾的余量是10Gbase-T的十倍以上。 這個計算結果可以說明在Cat6上運行的1000Base-T對線外串擾不敏感,甚至不使用FEXT Canceller 也可以正常運行。對Cat6 線纜要求也不高,即使線纜測試結果余量不是很大,也能夠保證網絡正常運行。而運行在Cat6A線纜上的10Gbase-T的情況則不容樂觀,因為還要考慮ISI(inter-sybmol interfernce)干擾的因素還需要保留3-4個dB的余量。所以如果Cat6A線纜的測試結果僅過及格線,那么余量將非常緊張。當然如果采用屏蔽線纜可以不考慮線外串擾,那么余量還是絕對足夠的。
四、模擬數據中心網絡在Alien Crosstalk下傳輸的實際測
大家知道數據中心內的雙絞線布線非常密集,筆者曾經遇到過在一個機柜內配960根銅纜的工程。而上面所有的結論都是理論計算得出的結果,那么如果我們模擬實際環境做一個實驗,情況會如何呢?IEEE委員會當初在制定10Gbase-T 的時候曾經提交了一份報告,實際模擬了一個數據中心的6包1鏈路,1000Base-T在Cat 5E和Cat6 線纜上都可以做到100%通過。
千兆以太網的模擬測試
10Gbase-T當時沒有做過類似的模擬,但是現在有一個研究機構正在做萬兆以太網在UTP和STP上的實際傳輸效果測試。目前結果還沒有完全公布,不過大致的結論是萬兆以太網在CAT6A UTP線纜上對線外串擾非常敏感。稍有不慎,就會發生問題。 從上面的理論計算和實際測試結果都可以得出這樣一個結論,目前數據中心常用的6類線上無論采用1000Base-T還是1000Base-TX都無需考慮線外串擾的問題,因為他們本身性能的余量已經足夠避免這個問題。對于10Gbase-T萬兆以太網,不論是UTP還是STP,如果安裝良好,理論上都可以避免線外串擾造成的問題。但是考慮到目前的測試手段并沒有辦法能夠快速的檢測線外串擾的指標是否合格(安裝是否良好),所以更推薦采用STP類屏蔽布線系統。經過實際測試。STP的線外串擾測試結果至少優于UTP 15個dB以上,所以基本對線外串擾做到了免疫。