泛達實驗室持續針對數據中心關鍵領域進行廣泛研究。這些領域包括網絡和基礎設施/有效的服務器和儲存配置。通過研究泛達可以為市場提供全面的數據中心解決方案，無論是財務 .醫療市場還是政府和教育市場。本白皮書將說明為您的業務構建可靠數據中心基礎設施所需考慮的各個事項。

導言

數據中心是業務的核心，日益增加的傳輸速度和活動數據中心設備密度不斷給物理層提出更高要求。企業網絡所儲存的和移動的數據量正大幅增加。部署在數據中心用于處理這些工作的高密度刀片服務器和儲存設備的能源消耗和熱量產生也在加速增長。

運用強大的綜合基礎設施來處理這些需求并支持未來數據中心的擴展此時比以往任何時候都要重要。本白皮書將展示如何平衡能源、冷卻和布線結構實用性與業務優先性來構建一個綜合全面的數據中心支持系統。“容量規劃”流程通過保證性能的穩定和靈活來優化網絡投資，以適應將來的業務和技術需求。

優先事宜

基于泛達實驗室對于數據中心的研究，下列是在構建和升級數據中心戰略規劃中重復出現的問題。因此，設備和 IT經理應該在數據中心項目過程中自始至終地時刻牢記這些問題：

•容量規劃: 決定數據中心設計和未來能源、冷卻空間和空間管理的增長。這些問題的考慮被統稱為“容量規劃”。如能有效地對這些核心資源進行部署和管理，則數據中心就能夠高效運行，并按照要求進行擴展。

•可靠性: 可靠的基礎設施由充足的能源和冷卻空間、有效的系統組件接線和接地以及保護、安排和管理布線結構的路徑組成。通過由優質部件和材料組成的強大系統，您可以將網絡中斷可能性降至最低，且運行時間和業務連續性達到最大化。

•預算: 數據中心運營所產生的巨大成本在今天競爭激烈的商業社會中是無法回避的一個問題。設備經理承擔每年數據中心大部分運營成本的責任。如何有效部署基礎設施資源關系到每年成本節省和降低總擁有成本( TCO)。

•美觀: 傳統上，設備經理只會考慮“它放在了正確的位置上嗎?它能正常運行嗎?”。但是數據中心是一筆很大的財務投資，不僅包括功能也包括外形。今天的數據中心已成為了向客戶展示公司視覺形象的區域。因此，設備經理希望基礎設施能擁有體現高度職業化的外觀。

開發數據中心設施解決方案

數據中心規劃可想象成一個需要多個業務團隊相互合作的地方。事實上，它要求業務、 IT和設施管理團隊的緊密合作來制定出一個綜合解決方案。了解這些規劃中的聯系可以幫助您將業務要求轉換為實際的數據中心設施解決方案。

業務規劃與設施規劃

數據中心的一般壽命為 10-15年。如進行日常維護，則基礎設施和線纜都能達到這一壽命。而常用設備一般在 3-5年中進行更新，因此基礎設施必須至少規劃三代 IT設備的供電、冷卻和支持。

所有這些數據中心規劃決定都最終取決于業務要求。從實際層面上來說，這些要求直接影響公司所采用的應用設備種類和服務等級協議 (SLAs)。

核心設施性能標準中有一項是運營時間，這一般由 SLA決定。當確定運營時間要求和支持應用的運行設備時，則可以預測支持帶寬、電源和冷卻負載，并且數據中心所占空間的大小也能夠確定。圖 1顯示數據中心相關人員合作制定綜合設施解決方案的流程。

 

圖1. 數據中心解決方案所涉及的多方人員

#p#

數據中心各等級

設施規劃同樣涉及定義數據中心各等級標準。 TIA-942 Annex G根據站點基礎設施等級將數據中心分成 1至 4等級來維持特定運營時間長短所需的。盡管該標準是根據報告對各等級模型進行分類(如非強制性)，但將運營時間目標與數據中心基礎設施冗余等級相連已成為了標準的等級劃分方法。

單點故障被消除時，系統級別上升。達到第二級標準的數據中心含有至少一套完整的冗余容量元件(如 N+1容量)，如不間斷電力系統(UPS)單元和冷卻制冷裝置。第三級數據中心將冗余容量分配至多個路徑，包括電源和冷卻部件，第四級系統將故障容差延伸到所有支持 IT運營的系統。系統級別會影響到數據中心所占空間，由于單點故障被消除，更多的設施設備將支持冗余容積和分配。必須指出的是，數據中心本身的級別根據影響站點運營的最低子系統級別而定。比如，第二級數據中心可向上升級為雙重動力計算機硬件和第三級電路來增強運營時間。然而，該數據中心的等級仍是第二級。

相關標準 (TIA-942)

設施規劃流程現有多本出版材料可供參考。《數據中心電信基礎設施標準》 (TIA¬942)是其中最為全面的一本。該標準明確了電信和基礎設施的最低要求，并建立了這些部件的連接和訪問的構造。除此之外，該標準還介紹了如何達成結構、機械和電氣設計各因素之間達成可控的平衡。其他已出版了設施規劃材料的機構包括： BICSI， Uptime Institute和American Society of Heating，Refrigerating and Air-Conditioning Engineers (ASHRAE)。

為今天和明天升級電源

電源系統是基礎設施中的關鍵部件，它要不斷為現在供應電能并符合未來增長的電能需求。不斷增加的高密度計算機環境同時極快地提高了電能的消耗(和運營成本)。最近的一次預測表明服務器所使用的總電能(美國和全世界)在 2000年至 2005年 1月翻了一倍。當今數據中心供電所面臨的重大挑戰為：

1. 符合當今數據中心電力要求

2. 部署穩定系統來滿足運營時間要求

3. 保證靈活性，滿足未來電力要求

4. 成本降至最低

滿足現今電力需求

數據中心電力使用由 IT負荷(主要為服務器)和設施負荷(主要為冷卻設備)組成。北美數據中心使用 AC電源，將公共電壓 480V降至 208或 120V(美國)供設施分配。電源的可用性和價格以及不動產成本在美國各州都是不同的。達成這些因素間的最佳平衡將幫助相關人員為數據中心確定位置并供應電力。欲預估您的數據中心電力負載，請參考泛達白皮書“數據中心設施考慮事項”中的工作表。

 

圖 2. 數據中心電源系統結構實

數據中心電力分配系統一般包括發電機、不間斷電源(UPS)系統、蓄電池、轉換開關、浪涌電壓吸收器、變壓器、斷流器、電力分配裝置( PDUs)和電源插座裝置(POUs)(見圖 2)。傳統的 POUs包括配電盤、插頭盤和 PDUs。UPS系統配有蓄電池儲存電能，以保證運行的數據中心設備不會受到電源中斷或電源線故障的過度影響。POUs部署在機架和機柜內將電力分配至運行設備。無論是模塊電源系統還是固定容量電源系統都能夠幫助設備經理能將每平方空間的數據中心電力輸送增至最大。這些電源系統可以輕松升級，并適應不斷變化的電源要求，也可在必要時以低容量運行以節省能源。而且，使用標準化、熱插拔并且用戶自行維護的模塊式電源系統可減少平均修復時間( MTTR)長度以提高可靠性。然而，模塊式電源系統需沿著運行設備一邊的機架進行部署;該系統會占據較大的機架空間，并且大幅增加冷卻負荷。而固定容量系統一般是中等和大型數據中心的首選，它是獨立的電源裝置，可節約空間。

設備經理與 IT經理合作使用運行設備節能技術。一般的節能技術包括部署節能服務器和高效電源、整合并虛擬化服務器以及排除不運行的服務器。同樣，美國 EPA正在制定企業服務器的新產品標準，并已向國會遞交了數據中心和服務器能源效益的草案報告。

部署可靠的電源基礎設施

為數據中心配備可靠的電源十分昂貴，但毫無疑問您還必須承擔額外的成本來滿足業務需求和網絡運營時間目標。許多因素都將影響系統的可用性，包括人為失誤、組件可靠性、冗余、維護計劃和恢復時間。帶錯誤校正功能(如模塊、智能和 /或可插拔式)和單點故障降低(如旁路功能)的電源系統可通過精簡維護任務并盡可能減少計劃外停機時間來提高系統可用性。

電源系統擁有許多冗余以滿足 N+1可靠性要求，包括電源轉化、并行控制、靜電轉換開關和旁路連接。 PDUs經常連接至冗余 UPS裝置以達到更高的可用性，以防止單臺 UPS出現故障或需要進行維修。除了 UPS冗余，服務器電源自身也擁有冗余，每一個服務器盒中都有 2個甚至 3個電源，能夠在一部或多部電源故障的情況下為服務器供電。

通過額外電力容量保證未來運行

設備經理和其他數據中心相關人員一般都會在一開始就建立最大預計容量來保證未來的運行。設備經理與 IT經理一起確定現今和設備壽命周期(如 2至 3次設備更新)內運行和冷卻設備所需的電量來預計負荷。如果下一代交換機和服務器的電源消耗超過了室內電源設備的容量，則經理有必要使用模塊式電源結構階段性地部署額外的容量。

二級設備系統

數據中心其他部件由數個設備系統支持。這些重要的二級系統包括制冷水、接合和接地系統以及架空活動地板。它們都應根據數據中心壽命周期來決定尺寸，因為這些系統并不是模塊式或階段性的部署。

#p#

架空活動地板

架空活動地板的安裝經常用來布置冷卻用空氣和管理數據中心接線，并使房間變得美觀。二級系統主體(如管道、線纜、電源線)應安全部署在架空活動地板下，以最大程度地利用上方空間來布線和移動、增加及改變( MACs)運行設備.所有數據中心相關人員應協力保證不同的地板下基礎設施部件可沿著預先設計的路徑順利整合。當部署架空活動地板時，應慎重考慮其高度、預期負荷要求以及抗震要求。現今的趨勢及最佳實踐表明架空地板為 24-36英寸的架空活動地板能保證足夠的冷卻空間(見圖 3)。如站點的架空活動地板高度不夠，則會造成空氣流通不足，并且之后很難再達成空氣流動的平衡。

 

圖3. 架空活動地板和底座實例

除此之外，架空活動地板制造商應提供符合天花板和室內系統建筑協會(CISCA’s)”架空活動地板推薦測試程序”認證的地板機械強度數據，以確定該地板符合數據中心設計要求。

接地和接合系統

當架空活動地板放置好后，安裝接合和接地系統。正確的接地和接合對于數據中心運行效率十分重要。接地系統是可將設備運行時間最大化、維護系統性能并保護人員安全的活動功能網絡。

接地與接合系統的主要目的是為電涌和瞬變電壓創建穩健的路徑來將其導入原有電力系統或地下。電涌和瞬變電壓一般是由閃電、電路故障、電路轉換(馬達開和關)、浪涌保護裝置( SPD)激活和靜電釋放( ESD)引起的。有效的接地和接合系統可以將這些事故的不利影響降至最低甚至消除。

 

圖 4 接合及接地系統實例

根據 TIA-942, J-STD-607-A-2002和 IEEE 1100(綠寶書)標準 ,正確的接地系統設計如圖 4所示，并具有以下特征：

1. 連接明確: 每一個連接都必須正確設計，因為接地系統的可靠性取決于其中最薄弱的連接

2. 可通過視覺檢查確認

3. 空間足夠處理故障電路

4. 阻斷損壞電路流向敏感的電子設備

5. 所有數據中心金屬部件與接地系統相連(如設備架、機柜、梯架、外殼、線纜槽、水管、導管、建筑鋼等)。

6. 保證機架和機柜構件的電路連續性。

7. 提供靜電釋放( ESD)保護帶的接地路徑。

除了符合上述標準外，所有接地和接合部件應列出國家認證的測試實驗室(如美國保險商實驗室公司 UL) 并且必須符合所有當地電氣法規。泛達 STRUCTUREDGROUND™系統為數據中心提供強有力的接地連接。其電阻低、易于安裝且每年的檢查十分方便。

制冷水管

如果制冷水回路要求提供冷卻，則需要規劃制冷水管。該系統應在數據中心構建流程早期部署以保證管道被正確放置并在必要時進行調整。如果一個設備需要水循環提供額外的冷卻，建筑制冷水供應須可以使用。地板上的空間應留給冷卻液分配裝置(CDU)，CDU是建筑制冷水和設備水循環的控制界面。地下空間應能夠容納將水從 CDU傳輸到冷卻設備的軟管。

標識系統

基礎設施應正確標識和記錄以使經理能夠快速查找所有電信和設施部件，減少維護窗口并優化 MACs時間。 TIA-942建議數據中心的識別應從架空活動地板開始。每一塊 2英尺*2英尺的架空活動地板都應標上數字字母網格標識符，從而構成橫排的字母系統(AA, AB, AC, 等)和豎排的數字系統( 01, 02, 03,等)，通過特定位置(如機架位于 AB03架空活動地板)用來查找數據中心部件。網格標識符范圍置于計算機打印不干膠標簽或刻印標志牌等。

全面的標識策略應包括：布線基礎設施標簽(線纜、面板、機架、機柜和路徑);運行設備標簽(交換機、服務器、儲存器);冷卻管道標簽，電氣標簽和接地系統標簽;地面網格標識，電壓標識、防火設備和其他安全標志。

TIA/EIA-606-A是布線標志和管理的標準， TIA-942附錄 B為數據中心提供了補充意見。“TIA/EIA-606-A標識規定”討論了如何運用基于標準的標識解決方案。

#p#

數據中心冷卻和空氣流通

冷卻系統對于數據中心可靠性和總擁有成本( TCO)十分重要。每一件設備都很會因熱量而導致運行時間的縮短和成本的上升并且需要保養、維修或更換。冷卻系統應包括計算機室空調( CRAC)和計算機室空氣處理( CRAH)裝置、制冷機、冷卻塔、冷凝機、通風管、泵組、管道和備用機架或天花板冷卻和空氣流通設備。

基于 Uptime Institute所收集的數據，冷卻系統的電力消耗預計約相當于運行設備的電力消耗 2。因此，冷卻系統要求精密的設計和頻繁的檢查以合理的成本來保持其性能符合要求。請參考泛達白皮書“數據中心設備考慮事項”工作表預測您的數據中心冷卻負荷。

熱通道/冷通道布局

數據中心冷空氣通過策略性的 CRAC裝置布局和物理層部件進行流動。各行設備的熱通道/冷通道布局可以參照 TIA-942和 ASHRAE的“數據處理環境導熱指南”。在這一布局中，CRAC裝置將冷空氣分散至架空活動地板下方，通過預先放置的開孔架空活動地板進入房間。

運行設備面向冷通道放置，設備風扇使冷空氣通過機架和機柜并且將廢氣排入后方的熱通道(見圖 5)。

孔面積占 25%的開孔架空活動地板和每分鐘 150-200立方英尺(cfm)的空氣流通率大約可排出 1kw的熱量。對于更大的負荷或運行設備熱負荷的增加超過了數據中心生命周期內的預計，可采取多種方法擴大冷卻容量，包括增加架空活動地板開孔面積(從 25%至 60%)、將漏氣量降至最低、增加額外的 CRAC容量等。同時，補充性冷卻裝置如制冷水機架和天花板空調 /風扇也可在增加或更新運行設備時進行部署。

 

圖 5. 熱通道/冷通道布局中的線槽放置

旁路空氣最少化達到冷卻最大化

冷氣有時會繞過欲進行冷卻的設備，而直接進入熱通道。行業數據顯示開孔架空活動地板和 CRAC/CRAH不正確的放置以及機架和機柜下的架空活動地板切斷了地下布線空間，從而產生了旁路氣流，導致 60%的可用冷卻容量被浪費。

計算機流體力學( CFD)軟件是分析通過數據中心氣流的有效工具。基本的 CFD程序可創建通過開孔架空活動地板的氣流路徑并計算氣流速度和溫度，因此設備經理可以看到設備機柜是否擁有的足夠的冷空氣。最新的 CFD程序可對地板溫度的分配和空間進行建模。

減少空氣旁路的策略(因而通過防止運行設備過熱增加運行時間)包括在不用的機架空間安裝空面板和使用空氣密封設備對活動架空活動地板的線纜線路進行密封。這些策略可以促進氣流沿著預定路線流動，同時保證地下線纜能夠進行更換。并且，空氣密封索環可在線纜經過架空活動地板鋒利邊緣時為線纜提供磨損保護和從線纜到地板的靜電釋放導電路徑。如此一來，導熱保護管理就能大幅節約成本。

布線的潛在影響

結構化布線系統可在數據中心 10-15年生命周期內進行更新及更換。有效的線纜管理被認為是數據中心網絡基礎設施可靠性的關鍵。然而，布線與設施系統之間的關系常被忽略。這主要在于結構化布線系統應沿著設施系統路徑進行成功部署。有效的線纜路徑可保護線纜以達到最大網絡運行時間并且展現您對數據中心的投資成果。

計算路徑尺寸和成本

數據中心路徑的主要價值在于為密集線纜環境中的結構化布線基礎設施提供了功能性和保護性的空間。可更換的通用路徑能適應數據中心的發展和變更，并且保護線纜免受物理損傷。設計良好的線纜路徑也能增加您數據中心的視覺沖擊。對于線纜數量和容量的精確估計以明確路徑尺寸是容量規劃中的關鍵。最初的部署應在 25-40%以留下未來擴展的空間。50-60%的部署率將會填滿整個路徑，這是因為線纜之間存在空隙及隨意的放置。泛達網上部署計算工具將幫助您在明確線纜數量和直徑時確定所需的路徑尺寸。線纜路徑系統的 TCO同樣必須在作出最終采購決定之前予以確定。安裝、維修、可進入性和物理保護和安全成本都應作為 TCO的一部分予以考慮。降低擁有成本的措施包括：

•需要使用工具最少的組合部件

•可輕松更換并提供線纜保護的掛蓋

•彎曲半徑控制和平滑邊緣保證線纜性能

•整合接地 /接合系統

#p#

線纜路徑設計

數據中心的多樣性和密集性意味著在規劃線纜路徑時“沒有一個方案可以通用”。設計師通常會制定多個路徑方案的組合。設計師可選擇多種類型和尺寸的鋼絲籠、梯架、 J形鉤、管道、固體金屬托盤和光纜布線系統。房間高度、設備線纜進入口、機架和機柜密度以及線纜種類、數量和直徑也是決定路徑設計的因素。

使用上走線光纖布線系統來部署水平光纜，并且使用地下金屬網格式橋架安放水平的銅纜和主干光纜也是一項有效的路徑策略。這一策略有以下幾項優勢：

•上走線和地下的布線組合保證了銅纜和光纜的隔離，符合 TIA-942的建議。

•上走線系統如泛達 PANDUIT® FIBERRUNNER® 系統，可在一個牢固密閉的通道中保護光纖接件、帶狀互連線和多芯光纖，并且具備彎曲半徑控制，該路徑位置不會干擾架空活動地板的冷卻功能 (見圖 6)。

•地下路徑可隱藏最龐大的布線;同時，銅纜的捆扎可松散一些以節省安裝成本，每一個地下路徑能服務兩排設備。

•整體視覺效果錯落有序，穩健牢固，令人印象深刻。

 

圖 6. 上走線線纜路徑系統實例

地下布線路徑應輔助熱通道 /冷通道布局保持冷空氣的流動。 TIA/EIA-942和-569¬B注明線纜槽的空間最大填充比例應為 50%，內部深度最大為 5英尺(150毫米)。 TIA-942進一步建議數據線纜的線纜槽懸置在熱通道下的地面上，同時電力分配線纜應置于架空活動地板下或平板之上的冷通道內。

這一地下路徑策略的優勢在于：

•電源線和數據雙絞線能盡可能地分開放置(如 6-18英尺)以使線纜之間的縱向耦合(如干擾)降至最低。

•銅纜和光纜路徑懸置與熱通道之下，朝著大部分服務器端口

•線纜路徑不會阻擋氣流由開孔架空活動地板進入冷通道。

線纜捆綁和路徑

當線纜路徑設置好后，應開始將線纜放置在路徑中。線纜捆綁策略可將電纜有效整齊地放置在路徑中，并保持運行的靈活性來進行頻繁的 MACs同時不會阻礙空氣。根據 TIA/EIA-568-B.1 10.1.1節和 GR-1275-CORE 13.14節，這一策略包括線纜扎帶的使用、保護和管理高性能銅纜和光纜的路徑配件以保證網絡的完整性。線纜束帶和配件必須運行安全，不帶有可能切斷或磨損線纜的尖銳末端及邊緣。根據國家電氣規程 (NEC)300-22 (C)和(D)節規定，Plenum認證的線纜束帶設計可用于空氣處理空間的線纜捆綁，如天花板空間和地下區域。在高密度數據中心布線環境中(見圖 7)，有多種有效的線纜捆綁解決方案。比如泛達粘扣式電纜扎帶可用于上走線區域和機架機柜內的線纜捆綁，并且根據 NEC規范(美國國家電氣規范)可用于空氣處理空間。它可以進行調節、釋放、能重復使用并且十分柔軟，使安裝著可以美觀快捷地部署線纜束。

泛達線纜機架間隔裝置是用于梯架的一個可疊放線纜管理配件，它保證適當的線纜彎曲半徑，將線纜束內的壓力降至最低。同時，當線纜從梯架或管道轉移至下方的機柜和機架時，泛達瀑布型配件提供彎曲半徑控制。

 

帶粘扣式電纜扎帶的網格式橋架帶可疊放式線纜機架間隔裝置和瀑布式配件的梯架

圖7. 線纜捆綁策略實例 機柜和機架實

#p#

現被動式冷卻解決方案

下一代的服務器和交換機(如刀片服務器技術)正不斷增加數據中心設備和布線的密度。這也增加了熱負荷，給傳統的冷卻系統帶來了挑戰。機架和機柜硬件的策略性部署無論是在現在還是在數據中心整個生命周期中都能大幅提高數據中心冷卻效率。

服務器和交換機柜中未使用的空間可能會引起兩個問題——熱廢氣循環與冷空氣旁路。設備所排出的熱廢氣可能會再循環并回到設備吸氣口，這將快速引起設備過熱，并降低系統運行時間。冷空氣可能繞過吸氣口，這會降低系統效率并增加成本。

泛達的機柜、機架以及線纜管理解決方案帶來卓越的線纜和設備管理，同時增強空氣流通，造就專業的數據中心形象。NET-ACCESS™機柜的被動式冷卻功能通過在高密度的交換機環境中加速空氣流動優化導熱性能。排氣扇將空氣從設備一端流動至另一端。垂直機柜空間中的管道直接將廢氣導入熱管道，減少熱空氣的再循環(見圖 8)。

被動式冷卻解決方案組合同樣有效地排除熱量并將空氣導入服務器區域。這些區域中更多的是電源線，而數據線較少，其密度低于交換機區域。在垂直和水平空間中應放置填充板防止冷空氣旁路和暖空氣在機箱和設備中的再循環。寬機柜的使用和有效的線纜管理通過保持服務器排氣區域的暢通防止機柜后部的靜壓力。同時，門孔應保證最大的冷氣流進入設備進氣口。機架和機柜的部署應遵守 TIA/EIA-310-D標準。

 

圖8. 泛達NET-ACCESS™ 機柜促進被動式冷卻

總結

下一代的數據中心運行設備將比以往耗費更多的電力，產生更多的熱量并且傳送更大容量的信息。必要的電力和冷卻系統必須與結構式布線緊密結合，組成一個綜合基礎設施來滿足日益增長的運營時間需求和多種設備更新。

成功地規劃這些系統的容量是一個需要所有數據中心相關人員齊心協力才能達成的過程。特別是設備經理處于一個特殊位置，需要檢查整體數據中心規劃藍圖來確定電力、冷卻、接地、線纜路徑和部署策略，以達成最低的 TCO。設備經理、 IT經理和高層之間的交流將保證業務需求與電力、冷卻和布線實用性之間的平衡，最終創建一個強大、穩定且美觀的數據中心。

參考書目

1. Koomey, Jonathan G. 2007. “Estimating Total Power Consumption by Servers in the U.S. and the World.” 最終報告 2月 15日摘自 :http://enterprise.amd.com/Downloads/svrpwrusecompletefinal.pdf

2. Brill, Kenneth G. 2007. “Data Center Energy Efficiency and Productivity.” The Uptime Institute: Santa Fe, NM. 摘自: http://www.upsite.com/cgi-bin/admin/admin.pl?admin=view_whitepapers.