世界頂級的數(shù)據(jù)密集型處理系統(tǒng)揭秘
譯文【51CTO快譯】前不久在德國舉行的國際超級計算大會（ISC）宣布了世界頂級的數(shù)據(jù)密集型處理系統(tǒng)?？茖W技術計算應用領域處理大數(shù)據(jù)問題的頂級超級計算機榜單名為Graph 500，每年更新兩次；一次是在ISC，另一次是在一年一度的超級計算大會（Supercomputing Conference），2012年這屆大會于鹽湖城舉行。
這份榜單始于2010年的ISC，對應于注重處理速度這個結果的Top500。Graph 500基準測試評估計算機在處理數(shù)據(jù)密集型分析應用時的性能，并且評估計算機的通信功能和計算性能。
這一挑戰(zhàn)賽的名稱來源于它所解決的問題的根源，名為“圖形類”運算——這些算法是許多應用中分析工作負載的核心部分，比如網(wǎng)絡安全、醫(yī)療信息學和數(shù)據(jù)強化等應用。
按照Graph 500小組（該小組得到了世界各地50余位高性能計算專家的支持）的官員說法，數(shù)據(jù)密集型超級計算機應用對高性能計算工作負載來說越來越重要，但是不適合為3D物理模擬而設計的平臺。
他們聲稱，“目前的基準測試和性能指標無法提供關于超級計算系統(tǒng)適合數(shù)據(jù)密集型應用情況的有用信息。為了指導廠商設計旨在支持這類應用、幫助采購的硬件架構和軟件系統(tǒng)，就需要一套新的基準測試。圖形算法是許多分析工作負載的一個核心部分。”
由于起源于高性能計算領域，又與Top500榜單有著關系，Graph 500榜單上的系統(tǒng)并非企業(yè)系統(tǒng)，與注重性能的Top 500榜單有幾個相似之處，因為設計時注重速度的許多超級計算機也具有相當強大的一些圖形處理功能。
兩款數(shù)據(jù)密集型系統(tǒng)并列第一，絕對遙遙領先于榜單上的其他系統(tǒng)。雖然Graph 500仍處于初期階段（與歷史悠久的Top500榜單相比），但我們預計更多的團隊會提交系統(tǒng)，以便拿仍在完善中的Graph 500基準測試進行對照。
不妨先介紹兩款頂級系統(tǒng)，它們在爭奪世界上功能最強大的數(shù)據(jù)密集型系統(tǒng)這個頭銜中打成平手。
第一名：米拉（阿爾貢國家實驗室）
除了在今年的Top500超級計算機榜單上名列第三外，米拉（Mira）超級計算機還在Graph 500奪得頭把交椅。
Graph 500的目的是想看看超級計算機能夠為密集線性代數(shù)（計算密集型浮點）運算提供多高的性能。阿爾貢國家實驗室稱，米拉主要是為了為這類運算提供超高性能而設計的，因為這類運算與科學和工程應用高度關聯(lián)。
計算機經(jīng)常用來解決小的圖形問題（比如說，為運貨卡車車隊規(guī)劃最佳路線）。然而，圖形問題會變得非常棘手，因為它們會擴展到更龐大的數(shù)據(jù)集（設想一下估計氣候對小地區(qū)內城市經(jīng)濟的影響和評估氣候對全國城市經(jīng)濟的影響之間的區(qū)別）。
管理阿爾貢領導力計算中心應用性能工程團隊的Kalyan Kumaran說：“要是有在這幾種運算方面性能超群的超級計算機，那么這一類非常有用的計算技術就可以運用到更廣泛的領域。米拉所能處理的問題類型要比大規(guī)模科學模擬廣泛得多。”
IBM藍色基因/Q系統(tǒng)位于阿爾貢領導力計算中心（ACLF），它每秒能夠處理1016次運算。阿爾貢國家實驗室稱，其目的是一旦完全投入運行，讓米拉每年能夠處理50多億個計算小時。
Vesta是米拉的測試和開發(fā)系統(tǒng)，它在Graph 500榜單上名列第6。米拉在阿爾貢國家實驗室的前身：IBM藍色基因/P則排名第16。
并列第一名：紅杉（勞倫斯利物莫爾國家實驗室）
近期關于紅杉（Sequoia）的重大新聞是它如今是世界上速度最快的超級計算機，在Top500榜單上力壓群雄。然而，勞倫斯利物莫爾國家實驗室強調，該超級計算機不僅僅是為了追求速度而制造的，還是為處理實際環(huán)境的數(shù)據(jù)密集型應用而制造的。
米拉位于阿爾貢領導力計算中心（ALCF），而紅杉位于勞倫斯利物莫爾國家實驗室，各自都達到了超過3500 GTEPS的分數(shù)。GTEPS指每秒訪問的10億邊緣。
勞倫斯利物莫爾國家實驗室有多款超級計算機入圍今年的Graph500榜單，包括使用固態(tài)硬盤存儲陣列來保存圖形的幾款超級計算機。利維坦（Leviathan）這款系統(tǒng)有一個含40核心的節(jié)點、1TB內存和12TB閃存，它是該實驗室的另一款明星級大數(shù)據(jù)超級計算機。
美國核安全局管理員Thomas D’Agostino告訴勞倫斯利物莫爾Independent網(wǎng)站，“雖然紅杉也許是速度最快的，但是它提供的底層計算功能卻讓我們對本國的核威懾力量更有信心，因為按照條約協(xié)議，武器儲備有所改變，這是奧巴馬政府核安全議程的一部分。紅杉還代表了美國在高性能計算領域繼續(xù)扮演領導地位，這是促進高質量工作和經(jīng)濟繁榮的技術創(chuàng)新的關鍵所在。
紅杉有望讓研究人員更全面地認識武器性能，特別是材料在極端壓力和溫度下的流體動力學和特性。尤其是，該系統(tǒng)將讓整套高度解決的不確定性量化運算能夠支持延長老化武器系統(tǒng)壽命的工作。
第三名：與IBM開發(fā)工程部門共同設計的Darpa Trial Subset
系統(tǒng)規(guī)格和性能方面遠不如另外兩款系統(tǒng)（節(jié)點數(shù)量分別是32768個和區(qū)區(qū)1024個）的是與IBM開發(fā)工程部門共同設計的一款國防高級研究計劃局（DARPA）系統(tǒng)，名列第二，僅次于兩家國家實驗室打成平手的兩個系統(tǒng)。
我們無法得知這款系統(tǒng)的詳細信息，只知道它是Power 775，這是時鐘頻率在3.836 GHz左右的Power7 8C。
IBM開發(fā)工程部門有許多另外的系統(tǒng)，提交今年Top500考慮審查，包括兩款iDataPLex系統(tǒng)，一款名列第175位（有10128個核心），另一款名列第213位，有7248個核心。
雖然有關這款大數(shù)據(jù)系統(tǒng)的詳細信息寥寥無幾，但我們完全可以設想IBM計算機旨在快速處理數(shù)據(jù)密集型軍事和國防應用。至于排名第三的那個系統(tǒng)，我們倒是知道有關它的一些詳細信息，不過該系統(tǒng)位于美國境外。
第四名：Oakleaf（東京大學）
富士通的Oakleaf-FX系統(tǒng)位于東京大學信息技術中心，它被認為是功能最強大的數(shù)據(jù)密集型超級計算機之一。
Oakleaf-FX是富士通公司的PRIMEHPC FX10超級計算機之一，它是為峰值浮點運算性能而設計的，同時也非常注重能效，據(jù)說整個系統(tǒng)的功耗只有140萬瓦。
東京大學現(xiàn)在使用這臺超級計算機處理許多數(shù)據(jù)密集型科研項目，包括生物學、材料學和航空航天等眾多領域的科研項目。該大學去年表示，它之所以選擇這臺超級計算機，是因為它與富士通公司的K超級計算機兼容，而K超級計算機在Top500榜單上名列第二。
東京大學IT中心超級計算部門主任中島研吾博士說：“PRIMEHPC FX10超級計算機系統(tǒng)（Oakleaf-FX）將有助于促進學術界和工業(yè)界的用戶在各種類型的研究開發(fā)工作中取得進展。Oakleaf-FX將用于東京大學研究生院的高性能計算教育計劃，旨在培養(yǎng)未來的計算科學家。Oakleaf-FX的性質決定了它的優(yōu)先事項將放在大規(guī)模任務上。”
東京大學還擁有Graph 500榜單上的第四名：在東京工業(yè)大學全球科學信息計算中心有一個惠普集群平臺。這個系統(tǒng)是一臺性能強勁的數(shù)據(jù)處理系統(tǒng)，得益于1366個節(jié)點中每個節(jié)點都有三塊英偉達特斯拉（Tesla）卡的配置。
想了解榜單的更多信息，包括前十強——包括位于阿爾貢國家實驗室、布魯克黑文國家實驗室和勞倫斯伯克利國家實驗室的更多“藍色基因”和超級計算機，不妨瀏覽主榜單（http://www.graph500.org/results_june_2012）。
【編輯推薦】
