【10月25日51CTO外電頭條】在超級計算機中，全球排名第十的是位于美國新墨西哥州阿爾伯克基桑迪亞國家實驗室的Red Sky，它由甲骨文Sun x6275刀片組成，配備了多達42440個擁有64TB隨機存儲器的英特爾Xeon 5500系列處理器核心，能夠提供500萬億次的事務處理能力。這一切都由一組甲骨文Sun的存儲來支持，在集群內使用紅帽Linux操作系統(51CTO推薦閱讀：外媒：美國超算領先地位遭中國挑戰)。

“我們正在利用甲骨文的Sun刀片服務器和Sun存儲進行私有云設置，”桑迪亞國家實驗室的高級計算機系統主管John Zepper說。

這實際上是兩個超級計算機操作系統的結合。這臺被大家稱之為Red Sky或者Red Mesa的超級計算機是桑迪亞國家實驗室、國家可再生能源實驗室（NREL）和甲骨文/Sun（納斯達克：ORCL）通力合作的成果。Red Sky是一個由Red Mesa 每秒180萬億次系統支持的每秒325萬億次的系統。

“Sun贏得了這臺超級計算機的投標，目前在兩臺機器之間有將近有43000個核心，”Zepper說。

甲骨文Sun X6275刀片采用了英特爾Nehalem架構，這是針對一般商業中高性能計算環境下的計算密集型應用程序設計的。桑迪亞國家實驗室采用了無限帶寬技術，利用英特爾的QuickPath技術來實現更高的帶寬和更低的延遲。

Zepper對該無限帶寬技術的優點做了解釋。通常情況下，對于每個節點，技術人員都必須牽一根連至主交換機的電纜。所以最終會導致你不得不采用很多根電纜。

“無限帶寬技術能夠幫助我們顯著減少布線的數量，”Zepper說。

集成的無限帶寬QDR主機通道適配器（HCA）和四倍數據速率以及高速網絡交換模塊（QNEM）被用于安置在甲骨文Sun 6048刀片機箱內刀片的相互連接。

“我們在處理QNEM的時候遇到了一些問題，所以甲骨文與我們一起合作對其進行修改從而使它們能夠在我們的環境下保持最佳的工作狀態，”Zepper說。

由桑迪亞和甲骨文/Sun共同設計的交換機被用來創建使用無線帶寬網絡技術的首次三維環面互聯拓撲。該系統也被認為是首個完全采用光互聯電纜的基于無限帶寬的系統。

Zepper透露說，實驗室已經將所有硬盤驅動器從x6275刀片中移除。通過無限帶寬進行啟動，可以讓實驗室不再為Red Sky配備以太網基礎架構。這將為每個刀片節約高達20%的成本。

“通過啟動無限帶寬，我們可以看到現在的設備性能比起使用先前的基礎架構的時候提高了四到五倍。”#p#

電源和冷卻

Zepper舉了一個關于在加速計算性能的同時降低內存的生動案例。舊的超級計算機有17個機架，而桑迪亞現在可以將這一切都濃縮在一個刀片機架內。

不過，由此帶來的敝處就是它所產生的巨大熱量。因此，為了提高工作效率和降低成本，實驗室從新設計了它的冷卻裝置。Zepper將它描述為桑迪亞到目前為止所開發的是最具能源效率的計算平臺。在電源和冷卻方面，它配備了Emerson/Liebert XDP和APC配電裝置（PDUs），同時為機架安裝了Cooligy Clacier Door冷卻設備。

“外殼門采用了制冷劑，其目的是用來冷卻刀片而不是機房，”Zepper說，“單單就電這一項，每年可以節省大約十萬美元的開支。”安置在機房內的Liebert XDP可以保持制冷劑的冷卻，這讓每臺機架可以負荷35千瓦的功率。

這種直接冷卻系統可以為每千瓦的冷卻節約0.13千瓦。Zepper稱這種冷卻過程每年可以降低制冷設備耗損的37%，節約540萬加侖的水，同時節省77%的制冷電能耗損。

衡量數據中心工作效率的標準之一是電能利用率（PUE）。用進入數據中心的總功率除以運行計算機架構所使用的功率，然后你會得到一個功率比。該數值越接近1越好。而Red Sky已經達到了1.27的PUE(51CTO推薦閱讀：如何提高PUE值 數據中心能耗詳解(圖))。

“對于一臺擁有43000個核心的設備而言，實現1.27的PUE可謂驚人了，”Zepper說。

他還說，比起老一代的四機架，APC PDUs可以在半臺機架內提供288千瓦的功率。

在存儲方面，桑迪亞國家實驗室擁有148個甲骨文Sun J4400磁盤陣列，能夠為超計算機集群提供6PB的存儲容量。Lustre文件系統在集群內部以20GB每秒的速度通過無線帶寬技術進行運作。

“Lustre擁有能夠聚合數據的輸入和輸出控制器，可以讓數以百計的用戶訪問我們的機器，”Zepper說。最重要的是，Red Sky/Red Mesa平臺為處理復雜的問題帶來了時間上質的飛躍。這才是這臺設備的真正價值所在——讓研究人員可以在處理實驗室工作的時候加快步伐。

【本文乃51CTO精選譯文，轉載請務必標明作者和出處】

原文標題：Red Sky Supercomputer: A Showcase for Oracle/Sun Blade Servers and Storage  作者：Drew Robb

【編輯推薦】

1. 南京大學高性能計算中心揭秘(多圖)
2. 外媒：美國超算領先地位遭中國挑戰
3. 開了眼了 看看地球最強超算都干什么的(圖解)