我用GPT-4參加阿里數(shù)學(xué)競賽!官方:今年歡迎,七萬獎金憑本事拿走
大模型要在數(shù)學(xué)競賽上跟人類同場競技啦!
最新消息,阿里巴巴全球數(shù)學(xué)競賽,今日官宣開啟報名。依然不限年齡、國籍、職業(yè),有意思的是,這次甚至突破了碳基硅基的限制——
首次向AI開放,誠邀全球大模型參賽。
不僅如此,獲勝AI最高還可獲得10000美元(約合7.2萬元人民幣)獎金。
如此因崔斯汀的消息,當(dāng)即引起了網(wǎng)友們的關(guān)注。
我們還打聽到,國內(nèi)外有不少高校研究團(tuán)隊和大模型創(chuàng)業(yè)公司已經(jīng)表達(dá)出濃厚興趣,準(zhǔn)備參賽。
新設(shè)「AI挑戰(zhàn)賽」
具體來看規(guī)則。
2024阿里全球數(shù)賽,在預(yù)選賽階段增設(shè)了一場AI挑戰(zhàn)賽。
和參加常規(guī)賽的人類選手一樣,大模型們也要對同一套預(yù)賽試題作出解答,考核內(nèi)容的難度相當(dāng)于數(shù)學(xué)本科一年級水平,重點考察AI的數(shù)學(xué)邏輯推理與問題解決的能力。
賽制方面,數(shù)賽官網(wǎng)已在今天(3月14日)開放統(tǒng)一報名通道,大模型參賽團(tuán)隊須在報名頁勾選AI參賽選項。
完成報名后,官方會提供歷屆數(shù)賽初賽的真題和答案,讓大模型選手們可以在正式比賽前先刷刷題練練手。
4月13日-15日,官網(wǎng)將開啟初賽考試通道,參賽選手需要在此期間完成答題,并在系統(tǒng)中提交人類評委看得懂的答卷。
組委會將根據(jù)大模型在此過程中展現(xiàn)出的創(chuàng)新性、解題效率、解題過程的邏輯性等因素綜合評分,并給出具體評語。
最終得分排名前三的AI將依次獲得10000美元、5000美元和2000美元的獎金。如果所有AI均不能有效作答,則獎金會累積滾動到下屆賽事的獎金池。
值得一提的是,AI挑戰(zhàn)賽允許人類使用提示詞工程來調(diào)教大模型。
但為了確保公平競賽,避免人類替考,參賽者需要在開賽前就提交模型代碼或Prompt,以供校驗復(fù)現(xiàn)。
(這波是反向防作弊了)
大模型挑戰(zhàn)數(shù)學(xué)競賽·實測版
正式比賽尚未開始,但顯然,面對數(shù)學(xué)競賽題,AI具體會有怎樣的表現(xiàn),已經(jīng)成為這屆阿里數(shù)學(xué)競賽的關(guān)注焦點之一。
為了滿足大家伙兒(包括我們自己)的好奇心,量子位已經(jīng)率先要到了歷屆初賽的真題和參考答案,咱們就請出當(dāng)前最強(qiáng)的兩位通用大模型選手——GPT-4和Claude 3,來個真題演練,先睹為快。
Round 1:選擇題
開胃小菜。先來這道2023年阿里數(shù)學(xué)競賽初賽的一道圖論題:
還是先來看GPT-4的表現(xiàn)。
在代碼解釋器的加持之下,GPT-4成功選對了C選項,即90≤S≤100。并且,GPT-4也給出了具體的解釋:
它通過簡化模型估算出等待總時間最小可能值是81,考慮到實際線路中可能出現(xiàn)更多必須直行和左轉(zhuǎn)的情況,結(jié)合選項,S值會更接近90而小于100。
△GPT-4真的很話癆
同樣的題目拋給Claude 3:
Claude 3成功判斷了題型,但很遺憾回答錯誤。
不過如果我們稍稍給點提示,比如:是否能將小明行駛的路線看成一個100邊形,來嘗試解題。
Claude 3瞬間就get到了思路,這次計算正確:S=96,選C。
這么看來,大模型的表現(xiàn)還是可圈可點的。它們在工具加持又或者在人類點撥的情況下,能夠給出正確答案的同時,還能給出具體的解題思路。
Round 2:證明題
選擇題之外,證明題也是阿里數(shù)學(xué)競賽必出的題型。我們也挑選了一道題來進(jìn)行測試。
先說正確結(jié)論:對于第一問,答案是存在;對于第二問,答案是不存在。
來看GPT-4的答題情況:
Claude 3的答案:
這一次,打分權(quán)交給你,你覺得GPT-4和Claude 3各能得幾分?
總結(jié)一下,從測試結(jié)果來看,大模型們挑戰(zhàn)阿里數(shù)學(xué)競賽題,還是難度不小。
盡管基礎(chǔ)知識豐富,能夠初步判斷出所考題型;計算速度也飛快,但也常會出現(xiàn)胡言亂語的狀況,仍需要人類的指正和點撥。
“AI改變數(shù)學(xué)的時代正在到來”
在我們的初步測試中,大模型的解題表現(xiàn)雖然不如那些能闖入決賽的人類選手,但已經(jīng)可以想見,在這種新的碰撞中,我們可以期待看到更多AI在抽象思維、邏輯思辨和巧妙解題方面能力的展示。
對此,阿里全球數(shù)學(xué)競賽組委會也做出了闡釋:
我們希望通過引入AI參賽,可以推動人工智能在數(shù)學(xué)領(lǐng)域的研究和應(yīng)用創(chuàng)新,特別是探索AI在解決復(fù)雜數(shù)學(xué)問題方面的潛力,催生新的模型和訓(xùn)練方法。
雖然我們預(yù)計今年AI還可能不及人類選手的水平,但是未來差距無疑會不斷縮短,甚至于超越。這一旦發(fā)生,會倒逼競賽難度提升,也會讓人類選手迸發(fā)更大潛能。
此外,數(shù)學(xué)本身就是AI的基礎(chǔ),我們也會去解讀一些優(yōu)秀AI背后的數(shù)學(xué)原理,向公眾展示數(shù)學(xué)對于AI的重要性和應(yīng)用前景,希望能夠提升大眾,特別是青少年對基礎(chǔ)學(xué)科的興趣。
早在ChatGPT剛開始流行之時,以陶哲軒等人為代表的數(shù)學(xué)家們,就對大模型保持高度關(guān)注。
陶哲軒本人不僅將多種AI工具都納入了自己的工作流,還大膽預(yù)言:
當(dāng)與形式證明驗證器、互聯(lián)網(wǎng)搜索和數(shù)學(xué)符號包等工具整合時,2026年的AI,如果使用得當(dāng),將成為數(shù)學(xué)研究中值得信賴的共同作者,并且在許多其他領(lǐng)域也是如此。
而《紐約時報》更是在對多位知名數(shù)學(xué)家進(jìn)行采訪后,給出了這樣的評論:
AI改變數(shù)學(xué)的時代正在到來。
AI is coming for mathematics, too.
現(xiàn)在,阿里全球數(shù)學(xué)競賽這樣備受關(guān)注的賽事主動擁抱AI,再次印證了這一新趨勢。
背后透露出的,還有數(shù)學(xué)界面對新一輪技術(shù)變革所產(chǎn)生的期待。
對于人類選手而言,AI與數(shù)學(xué)更深入的結(jié)合趨勢已經(jīng)顯現(xiàn),這樣的比賽,可以作為新一類接觸的橋梁。
對于數(shù)學(xué)家和AI研究者們而言,這樣的平臺為AI for Math提供了一個測試研究成果的基準(zhǔn),有助于推動更多數(shù)學(xué)與AI的前沿研究。
而對于大眾,這也是進(jìn)一步理解AI能力,和數(shù)學(xué)魅力的一扇窗口。
據(jù)說,此次大賽主辦方還將聯(lián)合魔搭社區(qū),準(zhǔn)備招募更多的開發(fā)者來參與;到時候一些國內(nèi)主流的開源數(shù)學(xué)模型也出來打配合,同開發(fā)者一道與一眾數(shù)學(xué)愛好者們同場競技!
哦莫,已經(jīng)可預(yù)見的是,數(shù)學(xué)界的人機(jī)混戰(zhàn)一觸即發(fā)~
所以廣大開發(fā)者們也不要光看了,趕緊來試試,沒準(zhǔn)兒還能賺點生活費……
你說是吧~