陶哲軒支持!AI數學奧林匹克競賽進步獎公布,獎金100多萬美元
「AI 數學奧林匹克競賽(AIMO 進步獎)的初步成績已公布。根據排行榜的數據,目前看來,獲勝的程序在私人測試中正確回答了 29/50 道題,這一成績比預期的要高。」剛剛,陶哲軒在個人博客中公布了這一消息。
AIMO 最初由一家搞機器學習量化交易的非銀行金融機構 XTX Markets 發起,主要是讓參與者使用 AI 模型解決國際數學難題,而本次進步獎的目標是創建能夠解決用 LaTeX 格式編寫的復雜數學問題的算法和模型。這將有助于推動人工智能模型的數學推理能力,并推動前沿知識的發展。
值得一提的是,此次進步獎是首次頒發,獲獎隊伍將角逐 104.8 萬美元的獎金。
參賽題目包括中級高中數學競賽的題目,但難度沒有達到國際數學奧林匹克(IMO)的水平。
獲獎資格要求團隊公開發布其代碼、方法、數據和模型參數。
根據排名,我們可以看出,獲得第一名的是 Numina 的團隊,CMU_MATH 位列第二,after exams 暫居第三,codeinter、Conor #2 團隊分別拿到第四、第五的成績。
根據規則,參賽小組最多 5 人,排名前五的就有兩位是單人作戰。
大家使用的模型也是各不相同,包括 Mixtral?8x7b、Gemma、Llama 3 等。
一直以來,IMO 國際奧林匹克數學競賽都是由專門研究數學的愛好者們直接參與,但隨著大模型能力的不斷提升,其在數學中的表現受到越來越多的關注。
大家測試的重點也逐漸從類似的高考題轉戰到奧林匹克競技場上,此前,來自 Google DeepMind 的 AlphaGeometry 登上 Nature,該研究解決了 30 個奧林匹克級別問題中的 25 個,接近國際數學奧林匹克競賽金牌選手的平均表現。
在大模型爆發的當下,已經不止一家開始挑戰奧賽難題,讓他們之間一較高下結果會怎樣呢?
去年 11 月,專門為 AI 設立的數學比賽來了,獎金為 1000 萬美元,旨在激勵開放式的人工智能模型開發,使其能夠在國際數學奧林匹克(IMO)中表現得與頂尖人類參賽者一樣出色。此次進步獎是作為 AIMO 大獎的一部分進行評選。
AIMO 顧問委員都是數學界的大牛,包括菲爾茲獎得主 Timothy Gowers 和陶哲軒(Terence Tao),與他們一同任職的還有 Po-Shen Loh、Dan Roberts 和 Geoff Smith。