數(shù)據(jù)中心核心交換機(jī)業(yè)界動(dòng)態(tài)

核心交換機(jī)是數(shù)據(jù)中心網(wǎng)絡(luò)最為關(guān)鍵的節(jié)點(diǎn)。隨著云計(jì)算、虛擬化和大數(shù)據(jù)等趨勢(shì)逐漸走俏，數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)也出現(xiàn)新的變化。因?yàn)槠髽I(yè)需要不斷面對(duì)IT系統(tǒng)日益復(fù)雜、設(shè)備數(shù)量日益增多，數(shù)據(jù)大集中和計(jì)算能力走高的諸多挑戰(zhàn)。核心交換機(jī)面臨很大的數(shù)據(jù)交換壓力，由此也推動(dòng)了核心交換機(jī)技術(shù)在近幾年的跨越式發(fā)展，關(guān)于技術(shù)標(biāo)準(zhǔn)、性能、架構(gòu)、大二層網(wǎng)絡(luò)構(gòu)建、虛擬機(jī)網(wǎng)絡(luò)策略遷移、SDN的討論，更是呈現(xiàn)百家爭(zhēng)鳴的態(tài)勢(shì)。在這期間，萬(wàn)兆技術(shù)標(biāo)準(zhǔn)成為主流，40G、100G逐漸走向商用;Spine-Leaf架構(gòu)已經(jīng)贏得共識(shí);SDN、NFV還未塵埃落定。每年我們都能看到技術(shù)標(biāo)準(zhǔn)博弈的不斷演進(jìn)，性能不斷超越的驚艷，數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)走向繁榮的步伐，以及各家戰(zhàn)略、策略和產(chǎn)品的角力。

從2008年開始，業(yè)界主流的網(wǎng)絡(luò)設(shè)備供應(yīng)商“你爭(zhēng)我趕”的推出了自己的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品。迄今為止，4家在數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)舉足輕重的供應(yīng)商，思科、華為、H3C和Arista先后推出了新一代數(shù)據(jù)中心核心交換機(jī)產(chǎn)品，分別是Nexus 7700系列、CloudEngine 12800系列、H3C S12500-X系列、Arista 7500E系列。與上一代各家的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品，華為S9700、思科N7000、H3C S12500、ARISTA 7500相比較，這4大系列產(chǎn)品在硬件架構(gòu)、性能、功能等各方面都有了質(zhì)的飛躍，共同站在了目前核心交換機(jī)產(chǎn)品的最前端。同時(shí)，數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)所醞釀的火藥味越來越濃，所涉及的話題，已不是局限于談?wù)勞厔?shì)，聊聊技術(shù)標(biāo)準(zhǔn)那么簡(jiǎn)單，因?yàn)檎嬲龥Q定客戶選擇的，是技術(shù)、創(chuàng)新、質(zhì)量和服務(wù)等硬條件。

在各大企事業(yè)的招標(biāo)設(shè)備技術(shù)規(guī)格要求中，核心交換機(jī)的性能、通風(fēng)散熱、系統(tǒng)可擴(kuò)展性要求首當(dāng)其沖：

在性能要求方面，要求核心交換機(jī)能夠支持足夠大的交換容量，在業(yè)務(wù)槽位數(shù)、單板帶寬等方面也有具體的要求;

在通風(fēng)散熱方面，要求核心交換機(jī)遵循數(shù)據(jù)中心機(jī)房前進(jìn)風(fēng)、后出風(fēng)的嚴(yán)格散熱風(fēng)道建設(shè)規(guī)范，以保證在長(zhǎng)期高速運(yùn)行下的可靠性;

在系統(tǒng)可擴(kuò)展性方面要求核心交換機(jī)具有持續(xù)的帶寬升級(jí)能力以及相匹配的散熱方面的擴(kuò)展能力，從而保護(hù)其在數(shù)據(jù)中心方面的投資。

如果單從性能上看，思科、華為等四家的核心交換機(jī)似乎沒有太多的區(qū)別，不論在線卡、整體交換容量等方面都可以滿足客戶網(wǎng)絡(luò)建設(shè)的需求，甚至還可保證未來5-10年的擴(kuò)展性需求。但如果我們深入到產(chǎn)品內(nèi)部，看一看各家核心交換機(jī)內(nèi)部的實(shí)現(xiàn)，就會(huì)發(fā)現(xiàn)各家在基礎(chǔ)架構(gòu)的散熱風(fēng)道、冷熱風(fēng)道隔離、帶寬擴(kuò)展性等實(shí)現(xiàn)方面存在細(xì)節(jié)上的不同，那么給用戶所帶來的價(jià)值也就不同。

正交架構(gòu)下的散熱通道設(shè)計(jì)理念

正交架構(gòu)已經(jīng)成為數(shù)據(jù)中心核心交換機(jī)設(shè)計(jì)的共識(shí)，上述4大系列產(chǎn)品都不約而同的選擇了正交架構(gòu)。正交架構(gòu)可將背板高速鏈路走線長(zhǎng)度有效降低，以獲得更加理想的誤碼率，從而在性能方面有了很大的提升。

但正交架構(gòu)帶來性能優(yōu)勢(shì)的同時(shí)，也帶來散熱設(shè)計(jì)的難度。因?yàn)樵谡患軜?gòu)中，線卡與網(wǎng)板垂直對(duì)插，整個(gè)機(jī)框通過背板被分隔成兩個(gè)獨(dú)立的空間，散熱時(shí)兩個(gè)空間需要絕對(duì)隔離，并都保持前進(jìn)后出的風(fēng)道，這對(duì)散熱設(shè)計(jì)帶來了挑戰(zhàn)。而交換機(jī)遵循數(shù)據(jù)中心機(jī)房的前進(jìn)風(fēng)、后出風(fēng)的散熱通道標(biāo)準(zhǔn)是國(guó)際數(shù)據(jù)中心通行做法，更是各大企事業(yè)標(biāo)書明確提到的指標(biāo)要求。如何實(shí)現(xiàn)在正交架構(gòu)下做到冷熱風(fēng)道隔離，并適配數(shù)據(jù)中心機(jī)房的前進(jìn)風(fēng)、后出風(fēng)的散熱通道的設(shè)計(jì)，是對(duì)各家設(shè)備供應(yīng)商的基礎(chǔ)架構(gòu)設(shè)計(jì)能力的考驗(yàn)。

為了更好的落地正交基礎(chǔ)架構(gòu)的設(shè)計(jì)理念，這4大系列產(chǎn)品在實(shí)現(xiàn)細(xì)節(jié)和技術(shù)上都采用了不同的做法。主要包括三大類：1)直通風(fēng)前后風(fēng)道/級(jí)聯(lián)風(fēng)道解決方案，思科Nexus 7700系列和Arista 7500E系列采用這樣的做法;2)直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道，華為CloudEngine 12800系列所采用的專利方案;3)直通風(fēng)Z型散熱風(fēng)道/橫向散熱通道混合使用，H3C S12510-X和S12516-X分別采用了不同的散熱通道做法。接下來讓我們?cè)敿?xì)了解下4款系列產(chǎn)品，采用不同設(shè)計(jì)理念下的差異。

直通風(fēng)前后風(fēng)道/級(jí)聯(lián)風(fēng)道

Nexus7700系列是思科最新一代的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品，采用正交架構(gòu)設(shè)計(jì)，為了遵循嚴(yán)格的前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道，思科大膽的采用了直通風(fēng)/級(jí)聯(lián)風(fēng)道的散熱方案，即直接在線卡面板上開孔進(jìn)風(fēng)，在背板上打孔，風(fēng)流直接穿過背板到達(dá)網(wǎng)板，網(wǎng)板的面板上開孔，風(fēng)扇框安裝在機(jī)箱的后面，進(jìn)行抽風(fēng)散熱。同時(shí)，風(fēng)扇系統(tǒng)可根據(jù)設(shè)備溫度自動(dòng)調(diào)速，允許風(fēng)扇系統(tǒng)熱插拔。當(dāng)網(wǎng)板故障時(shí)，要拔出風(fēng)扇框更換網(wǎng)板，但嚴(yán)格要求用戶在3分鐘內(nèi)更換完網(wǎng)板，以免風(fēng)扇停止散熱后造成系統(tǒng)掉電。而這樣的直通風(fēng)設(shè)計(jì)，使得線卡散熱和網(wǎng)板的散熱風(fēng)道并未隔離，交換網(wǎng)板始終處于高溫工作狀態(tài)，不得不面對(duì)級(jí)聯(lián)風(fēng)道熱積累效應(yīng)帶來的可靠性問題。

Arista 7500E也采用了直通風(fēng)/級(jí)聯(lián)風(fēng)道的散熱方案，但設(shè)計(jì)上更加大膽，直接將風(fēng)扇集成在了交換網(wǎng)板上，而風(fēng)扇屬于機(jī)械容易損壞部件，如果風(fēng)扇出現(xiàn)故障需要更換，意味著交換網(wǎng)板也要隨之進(jìn)行更換，這樣的集成無疑將使用戶的后期維護(hù)成本大大提高。

直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道

華為CloudEngine 12800系列采用了直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道的解決方案，在風(fēng)道設(shè)計(jì)上擁有專利技術(shù)。將交換機(jī)的散熱區(qū)域分成了線卡區(qū)域和網(wǎng)板區(qū)域，線卡區(qū)域的散熱是面板進(jìn)風(fēng)，后面出風(fēng);網(wǎng)板區(qū)域的散熱是機(jī)箱前面下部進(jìn)風(fēng)，機(jī)箱后面上部分出風(fēng);兩個(gè)區(qū)域經(jīng)過背板嚴(yán)格的隔離，這樣形成了兩個(gè)完全獨(dú)立的前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道。嚴(yán)格遵循風(fēng)道設(shè)計(jì)的前提下，可有效規(guī)避風(fēng)道級(jí)聯(lián)所帶來的可靠性問題。

直通風(fēng)Z型散熱風(fēng)道/橫向散熱通道混合

H3C在正交架構(gòu)的散熱風(fēng)道設(shè)計(jì)上，嘗試了兩種解決方案。H3C S12510-X采用了Z型散熱風(fēng)道，遵循前進(jìn)后出風(fēng)道和冷熱風(fēng)道分離原則，進(jìn)風(fēng)口集中在機(jī)箱下部，出風(fēng)口在機(jī)箱的后上部，線卡豎插，風(fēng)道從下到上問題不大，但交換網(wǎng)板和主控板橫插，阻礙了風(fēng)道流向，因此需要在交換網(wǎng)板和主控板上兩邊開孔形成風(fēng)道，這樣做會(huì)造成單板面積浪費(fèi)，同時(shí)孔洞疊加形成的風(fēng)道會(huì)產(chǎn)生風(fēng)阻，導(dǎo)致散熱效率降低。思科也曾在其上一代的Nexus 7000系列產(chǎn)品中使用過Z型風(fēng)道設(shè)計(jì)，但在Nexus 7700系列中并未沿用這一風(fēng)道設(shè)計(jì)思路。H3C S12516-X在散熱風(fēng)道設(shè)計(jì)上反其道而行，并未遵循目前主流的前進(jìn)風(fēng)、后出風(fēng)的通道設(shè)計(jì)，而是采用了“復(fù)古”的橫向散熱通道，橫向散熱通道會(huì)帶來熱風(fēng)回流和走線空間不足的問題，目前并不適用于數(shù)據(jù)中心的機(jī)房環(huán)境，值得商榷。

帶寬、散熱能力的可擴(kuò)展性

之所以大筆墨的詳述了4家廠商正交架構(gòu)下散熱風(fēng)道的設(shè)計(jì)思路，是因?yàn)檎患軜?gòu)代表了目前核心交換機(jī)基礎(chǔ)架構(gòu)的方向，基于正交架構(gòu)的散熱風(fēng)道設(shè)計(jì)、正交連接器的選擇決定了交換機(jī)單板的散熱和帶寬擴(kuò)展能力。這些不僅代表了廠家在核心交換機(jī)研發(fā)的技術(shù)領(lǐng)先性，更關(guān)乎用戶在未來的數(shù)據(jù)中心網(wǎng)絡(luò)整體的擴(kuò)展性、維護(hù)成本和系統(tǒng)可靠性。

連接器是核心交換機(jī)的基礎(chǔ)架構(gòu)部件，伴隨著產(chǎn)品的整個(gè)生命周期，因此連接器選擇至關(guān)重要。在具有正交架構(gòu)的交換機(jī)中，正交連接器決定了交換機(jī)的帶寬可擴(kuò)展性和單板兼容性，因?yàn)檎贿B接器決定高速鏈路能不能升級(jí)到更高速率的重要因素，目前這4款最前沿產(chǎn)品的正交連接器選擇分成了兩個(gè)方向。思科Nexus 7700系列和華為CloudEngine 12800系列都選擇了ATCS的Xcede正交連接器;H3C S12500-X系列和Arista 7500E系列都選擇了Molex的上一代Impact正交連接器。Xcede正交連接器是新一代的連接器，是面向25G高速鏈路設(shè)計(jì)的，在高速連接、串?dāng)_和連接密度等方面已經(jīng)考慮了更高速率的支持，所以可以應(yīng)用在演進(jìn)到更高速率的核心交換機(jī)上。

同時(shí)，每槽位的散熱能力的高低決定了單板端口密度的高低，而這與散熱通道設(shè)計(jì)的領(lǐng)先性息息相關(guān)。最具優(yōu)勢(shì)的散熱風(fēng)道設(shè)計(jì)，將直接影響交換機(jī)是否能支持48*40GE單板和48*100GE單板所帶來的千瓦功耗，單板的擴(kuò)展能力越高則需要首先考慮系統(tǒng)能否帶來更好的散熱設(shè)計(jì)。所以，就目前的散熱風(fēng)道設(shè)計(jì)而言，華為的直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道思路，對(duì)于單板散熱可擴(kuò)展性最具競(jìng)爭(zhēng)優(yōu)勢(shì)。

結(jié)語(yǔ)：

正交架構(gòu)，前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道設(shè)計(jì)標(biāo)準(zhǔn)已經(jīng)成為了數(shù)據(jù)中心核心交換機(jī)的標(biāo)準(zhǔn)，而在技術(shù)的細(xì)節(jié)實(shí)現(xiàn)上，不同廠商各顯其能。作為數(shù)據(jù)中心基礎(chǔ)架構(gòu)的核心組件，它每一個(gè)細(xì)微的技術(shù)實(shí)現(xiàn)差異，也許就會(huì)給數(shù)據(jù)中心網(wǎng)絡(luò)的整體性能、未來的擴(kuò)展性、可靠性，甚至是業(yè)務(wù)實(shí)現(xiàn)帶來差異。所以在企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)中，將供應(yīng)商在硬件基礎(chǔ)架構(gòu)方面的技術(shù)積累、設(shè)計(jì)理念和用戶投資、運(yùn)維成本等方面的價(jià)值體現(xiàn)作為考量因素至關(guān)重要。