讓大學生跑語言大模型,這場世界超算競賽剛結束,北大首次奪冠
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
第十屆ASC世界大學生超算競賽總決賽,終于在中國科學技術大學落下帷幕。
北京大學首次獲得ASC決賽冠軍,而東道主中國科學技術大學獲得亞軍,香港中文大學獲得線上競賽冠軍。
ASC世界大學生超級計算機競賽,是由中國在2012年發起的世界最大規模的大學生超算競賽,與美國SC、德國ISC并稱全球三大超算競賽,今年正好是ASC第10屆。
大語言模型成關注熱門
今年的ASC決賽正式比賽在5月8日和9日兩天進行,參賽隊伍是從初賽300支隊伍隊伍中脫穎而出的24支隊伍。
其中有20支來自中國大陸高校的隊伍,在中科大體育館內完成線下比賽;另外4支來自港臺和國外的隊伍,則借助云計算資源完成線上比賽。
各高校參賽隊伍需要在2天內完成6道賽題,時間緊任務重,任何失誤都可能導致與冠軍失之交臂,這也是ASC過去歷屆黑馬頻出的原因。
由于今年ChatGPT火熱,今年的大語言模型題受到了組委會和媒體的重點關注,這道題的優勝者也將獲得本屆ASC的e Prize計算挑戰獎。
ASC組委會提供了100GB的高質量中文數據集,要求參賽隊基于這一數據集實現15億、179億參數兩個模型的訓練。
參賽隊伍需要自行合理設計模型訓練策略,在追求極致性能的同時,還要滿足精度約束等嚴苛條件。
中國科學技術大學隊伍運用多種業界前沿的大模型并行策略、顯存優化方法,最終獲得了這道賽題的最高分,奪得本屆ASC e Prize計算挑戰獎。
中科大選手吳天銘表示:“這道賽題是在ChatGPT火起來之前就出來了,我們為此做了很多功課。不久后ChatGPT爆火,我們就已提前理解了它是怎么運作的,所以覺得ChatGPT‘神奇也不神奇’。”
聚焦AI、量子計算前沿課題
除了大語言模型外,本屆ASC也聚焦于其他業界前沿問題。比如此前谷歌實現量子優越性的量子計算芯片“懸鈴木”,參賽選手需要在超算上模擬該芯片的量子采樣問題。
谷歌曾宣稱在傳統超算上,這個問題需要運行1萬年,而參賽選手需通過基于張量網絡的量子模擬算法實現10億倍的性能提升,將模擬時間縮短至10秒。
這道題也成為了本屆大賽的超級團隊賽項目,即5個線下隊伍與1個線上隊伍組隊完成,讓各高校之間不僅是競爭對手,也是合作伙伴,極大地考驗選手們的協作溝通能力。
此外,每屆大賽必不可少的“跑分”競賽項目也如期上演。
在HPL&HPCG基準測試這道題中,各參賽隊伍需要自行設計超算系統,在總功耗3000W約束下正確完成各項計算任務。
浙江大學以109萬億次/秒的HPL持續浮點運算性能,獲得本屆ASC最高計算性能獎。