上周，Google一反常態(tài)的公布了其數(shù)據(jù)中心的內部照片，這引起了所有科技愛好者的關注。這比互聯(lián)網的新對手Facebook公布自己數(shù)據(jù)中心的設計晚了18個月。除了照片，Google只附加了小學生看書說話式的文字。而Facebook將數(shù)據(jù)中心的設計藍圖全部公開，任何人可以參考。

圖：James Hamilto

過去，數(shù)據(jù)中心被Google視為核心技術，因此Google對自己數(shù)據(jù)中心的細節(jié)總是三緘其口。一般而言，每當Google公開一項技術，意味著Google已經掌握了更先進的技術。即便如此，已經被Google“解密”的技術依然值得深入研究、學習。(注：作者James Hamilton目前系AWS專注數(shù)據(jù)中心效率研究的副總裁，此前供職于微軟未來數(shù)據(jù)中心團隊。)

但這些公開的照片有些不平常，這些照片來自Google正在使用的數(shù)據(jù)中心，看來Google已經掌握了更深層次技術，這些照片并不會給競爭對手透露核心機密。Google并沒有披露這些照片的細節(jié)，Google提供的文字描述語焉不詳。我發(fā)現(xiàn)Google數(shù)據(jù)中心的機械設計值得注意，于是我花時間對其進行了研究。為了更好的了解Google數(shù)據(jù)中心的特別之處，讓我們先了解傳統(tǒng)的數(shù)據(jù)中心的硬件架構。

圖：傳統(tǒng)數(shù)據(jù)中心硬件構架

傳統(tǒng)的數(shù)據(jù)中心設計方案有太多顯而易見的問題，這些方案已經使用了40年，無法與時俱進。最明顯的問題在于：

沒有冷/熱風道，這讓冷熱空氣泄露并與混合;

空氣處理室(CRAH)與服務器之間的距離太遠，傳輸空氣的成本非常昂貴;

這是一個封閉的系統(tǒng)，熱空氣被冷卻后循環(huán)使用，而不是將熱空氣排出，讓新鮮的冷空氣來冷卻服務器。

Facebook Prineville Oregon的數(shù)據(jù)中心就是一個***的案例：

圖：Facebook Prineville數(shù)據(jù)中心硬件架構

我是一個Facebook Prineville數(shù)據(jù)中心的粉絲。Facebook徹底拋棄了水冷設備，它們不僅昂貴而且費電。(CSDN注：Facebook在Prineville的數(shù)據(jù)中心地處在喀斯開山脈的雨影區(qū)，空氣干燥而干凈，晝夜溫差大，夜間只有4攝氏度，適宜采用自然空氣冷卻。詳見：《Facebook開源數(shù)據(jù)中心王國》)全部使用彼此隔離的風道，室外的熱空氣通過蒸發(fā)皿降溫，數(shù)據(jù)中心所在的建筑被看作一個巨大的整體，散熱效率非常高。#p#

讓我們看看Google愛荷華州的Concil Bluffs數(shù)據(jù)中心：

圖：Concil Bluffs數(shù)據(jù)中心內部

你可以看到一張經過挑選的照片，一個巨大的房間，而不是被分成若干獨立的區(qū)域。完全采用風道設備，徹底避免服務器或機架產生的空氣泄露。冷空氣直接流入服務器，熱空氣并不會流回，而是通過熱交換器將熱量傳遞出去。空氣流動控制格外重要，空氣流動經濟性(air-side economization)是提升散熱效率的關鍵。提高空氣流動經濟性的關鍵是讓冷空氣流入服務器，而不是讓服務器排出熱空氣(Facebook采用了全封閉的風道來提高空氣流動經濟性)。

通過這些照片，我們看到Google全面進行了顛覆性的嘗試。Google把整個建筑視為風道的一部分，并沒有完全棄用水冷系統(tǒng)，而是將其升級進化，從而提高水冷系統(tǒng)的效率。通過Google在芬蘭Hamina數(shù)據(jù)中心照片，我們看到在熱風道上多組熱交換器。

圖：Hamina數(shù)據(jù)中心內部

氣流如何工作?

在Mayes County數(shù)據(jù)中心這樣照片里，我們看到數(shù)以百計的風扇直接將熱空氣排入密閉的風道，從冷卻塔來的冷水通過包裹金屬外層的水管輸送到風道頂端的熱交換器，熱空氣迅速被冷卻避免在風扇周圍聚集。

圖：Mayes County數(shù)據(jù)中心巨大的風道。大量的風扇將熱空氣排入風道，不銹鋼包裹的水管將冷水輸送到頂部的熱交換器。

數(shù)據(jù)中心內部保持80華氏度(約等于26.67攝氏度)，略高于其它數(shù)據(jù)中心。80華氏度的空氣進入服務器內部，然后被加熱。服務器后部的風扇將被加熱到 接近120華氏度的空氣排入封閉的風道，熱空氣上升，并被頂部的熱交換器冷卻，被冷卻的空氣會從下方的活動地板排出。Google數(shù)據(jù)中心高級總監(jiān)Joe Kava表示：“一旦水冷管泄露，后果非常嚴重。我們的設計經過了多年考驗，萬無一失。”

水冷的核心優(yōu)勢是輸送水比輸送空氣成本更低，而且水的熱容積更大。Google的設計思想是盡可能讓水通過各種方式到達機架，這并不是工業(yè)界***次這么做，但Google做的幾近***。IBM的iDataPlex也將水直接通到機架后面，許多高密度的HPC系統(tǒng)也采用了這種方式。

固然直通到機架的水冷系統(tǒng)擁有高效率，但我更青睞空氣流動經濟系統(tǒng)。任何一個系統(tǒng)都可以屏蔽戶外的熱空氣，并讓冷空氣長途跋涉輸送給服務器(請見本文***張圖片)。我依然傾向將外部空氣輸送到服務器的方法，然而，隨著服務器密度不斷增加，單位空間的功率也隨之增長，水冷系統(tǒng)就十分必要了。正如Google將水冷系統(tǒng)覆蓋到服務器，亦如IBM在上世紀80年代采用的熱導模塊。熱導模塊在當時是非常先進的水冷系統(tǒng)，由Green Revolution Cooling提供，該公司還使用了將服務器完全浸入油中的冷卻方式。