CERN如何應對未來EB級的高能物理數(shù)據(jù)?
歐洲核子研究中心(CERN)成立于1954年，是世界上***的粒子物理學實驗室，主要業(yè)務是探索宇宙本源，促進人類進步，培養(yǎng)下一代科技接班人。CERN有22個成員國，主要來自歐洲，合作伙伴遍布全球機構和院校，大約1.2萬來自70國家和105不同國籍的科學家來到CERN從事研究, 這是世界上一半的粒子物理學家。2012年，聞名世界的希格斯玻色子(俗稱“上帝粒子”)就是在CERN的大型強子對撞機(LHC，Large Hadron Collider)實驗中發(fā)現(xiàn)的。
近日，CERN IT部門的資源管理團隊負責人Jan van Eldik在2017華為全聯(lián)接大會(HUAWEI CONNECT 2017)上，介紹了CERN正在采用的一些方法，應對未來其實驗產(chǎn)生的快速增長的數(shù)據(jù)洪流。
圖1 Jan van Eldik 在Huawei Connect 2017上發(fā)言
海量數(shù)據(jù)的源頭
CERN擁有大型強子對撞機LHC——世界上***的粒子加速器。LHC是一個全長27公里的環(huán)(如下圖)，位于瑞士日內瓦近郊，貫穿瑞法邊境。LHC把環(huán)超導磁體安裝在地下100米，創(chuàng)造出比地球磁場強10萬倍以上的磁場，在抽成真空的磁體管道里，粒子被加速到接近光速的水平，在4個大型實驗的粒子探測器里進行碰撞：ATLAS, CMS, ALICE, LHCb。
在大型強子對撞機實驗的探測器中，每秒可進行多達10億次的粒子對撞，我們不可能讀出所有這些事件，因此“Trigger(觸發(fā))”系統(tǒng)用于層層過濾數(shù)據(jù)，并選擇那些對進一步分析有潛在價值的事件。
這些操作產(chǎn)生的數(shù)據(jù)隨后通過全球LHC計算網(wǎng)格(WLCG，World LHC Computing Grid)的系統(tǒng)從CERN數(shù)據(jù)中心分發(fā)到42個國家的170個計算中心。在撰寫本文時，CERN數(shù)據(jù)中心已經(jīng)在磁帶上存儲了超過200 PB的數(shù)據(jù)，預計每月增加PB級的新數(shù)據(jù)。
圖2. LHC與其試驗場景
為什么選擇公有云
自2013年以來，CERN部署了一個基于OpenStack的私有云，用于管理位于瑞士梅蘭(Meyrin)的主數(shù)據(jù)中心資源，以及位于匈牙利布達佩斯的遠程擴展數(shù)據(jù)中心。今天，這朵私有云包括大約10,000臺雙CPU服務器，約300,000個處理器內核，服務于約3600個項目，包括高密度計算，物理數(shù)據(jù)分析和虛擬服務配置。
計劃升級LHC及在CERN進行的更多實驗，意味著對計算和存儲的需求將大大增加。例如，當LHC的后繼者，高亮度LHC在2026年上線的時候，ATLAS和CMS的實驗期望收集和重建的碰撞事件比現(xiàn)在多5到10倍。使用當前的軟件，硬件和分析技術，所需的計算能力預計比現(xiàn)在高出大約50-100倍。到那時，數(shù)據(jù)存儲需求預計將達到EB級(1EB=109G)。
簡單地按ICT新增資源量來等比增加預算，以縮小“資源缺口”是不現(xiàn)實的。為確保資源利用的***效率，探索新技術和方法至關重要，目前正在研究的一種方法是采用混合模式，在內部資源不夠的情況下，CERN可以使用商用的云服務資源來動態(tài)擴展其內部資源。
攜手Open Telecom Cloud 來應對未來挑戰(zhàn)
目前CERN正在通過Helix Nebula(“螺旋星云”)項目來進行公有云試點。今年早些時候，三家公司通過公開競標被選中進入了“原型階段”。
其中一家就是基于OTC(Open Telekom Cloud)提供解決方案。OTC是由德國電信和華為共同構建的公共云平臺，華為提供基于OpenStack的架構并支持相關的解決方案。在“原型開發(fā)”階段，OTC已經(jīng)在科學計算領域向CERN交付了HPC公共云解決方案，部署了數(shù)千個HPC節(jié)點，并分析了高能粒子碰撞的結果。
“OTC***的優(yōu)點是基于OpenStack，架構與CERN現(xiàn)有的私有云相同，這意味著它可以靈活動態(tài)地擴展CERN的內部資源。”Eldik說。
CERN與華為都是OpenStack開源項目的貢獻者，同時，華為還是OpenStack基金會的鉑金會員，未來CERN與華為將在OpenStack領域進行更多的深度技術合作
“通過CERN openlab項目，我們已經(jīng)開始共同努力改進OpenStack，尤其是在大規(guī)模運行OpenStack的時候......這將允許OpenStack社區(qū)的每個人都從這些社區(qū)的努力中受益，我對這些特別的項目非常興奮，我期待在未來幾年看到它們在CERN的云中開花結果，“Eldik先生補充說。
