o3數學成績作弊大瓜！提前讓測試機構給真題，60多名數學大牛全被蒙在鼓里
OpenAI o3還沒上線，就被曝數學成績是靠作弊得來？！
Benchmark發布機構內部人員爆料稱，OpenAI給了他們經費贊助。
就連包括陶哲軒在內參與出題的60余名數學家，在消息曝光之前也都和普通公眾一樣蒙在鼓里。
直到o3發布，這一消息才被公開。這意味著嚴格保密的題目，OpenAI提前拿到了手中。
圖片
這套數據集名叫FrontierMath，包含了由陶哲軒等60多名權威數學家命制的高難度題目。
陶哲軒就表示，這些題目足夠困擾AI幾年的時間；1998年菲爾斯獎得主Gowers也說，能解決其中的一個問題就已經超越現在的能力范圍了。
當時也正是因為在這一測試基準上大幅領先，o3的能力更進一步被得到認可。
圖片
Epoch.ai這邊，聯合創始人Tamay Besiroglu也回應并承認了秘密贊助和OpenAI提前拿到題目的傳聞，但否認題目被OpenAI拿來作弊。
圖片
但有些網友并不買賬，表示OpenAI如果不使用這些信息還要訪問權限干什么，并推測有可能被用來訓練。
圖片
專家被要求嚴格保密，但OpenAI卻能拿到題
這家名叫Epoch.ai的機構，開發了一款名為FrontierMath的數學測試基準，論文第一版預印本于去年11月7日（協調世界時，北京時間為8日凌晨）發布。
包括第一版在內，FrontierMath的論文在近兩個月的時間里一共發布了五個版本，但直到最后12月20日的第五版才披露了OpenAI的資助。
圖片
不過也只是在腳注中提了一句，感謝OpenAI對構建Benchmark的支持。
圖片
并且12月20日剛好是OpenAI發布o3的日子，并且Besiroglu也透露，之前沒有公開正是由于OpenAI的保密要求：
在o3推出之前，我們一直被限制披露合作關系，事后看來，我們應該更加努力地談判，以便能夠盡快向基準貢獻者保持透明。
如果不看OpenAI這場風波，FrontierMath是一套含金量非常高的測試基準，由全球六十余位數學家聯手命題，包括教授、IMO命題人、菲爾茲獎獲得者，其中就有大牛陶哲軒等人。
而且難度也非常高，包括數百個極具挑戰性的數學問題，在o3之前的模型解決率不到2%。
哪怕o3真的作了弊，得分也才20多分。
圖片
像下面的這道題目，在FrontierMath當中算是難度最低的一檔：
圖片
正常來說，FrontierMath里的題目和答案是嚴格保密的，就連出題的數學家也被要求簽訂保密協議，甚至不能使用Overleaf、Colab或電子郵件傳輸有關題目的信息。
諷刺的是，這樣“嚴格保密”的題目卻被OpenAI拿到，而出題專家對OpenAI的情況毫不知情。
斯坦福博士、MIT羅德獎學金得主Carina Hong（洪樂潼）就表示，至少有六名專家能夠證實這一點，并且大部分專家表示不確定如果知道（OpenAI的獨家訪問權）是否還會選擇貢獻。
圖片
后來她表示，（和出題人）簽保密協議確實是為了防止數據污染，對OpenAI的目的則不做猜測。
圖片
聯創承認錯誤，但否認OpenAI作弊
內部爆料和外部質疑之下，Epoch.ai聯創Besiroglu也承認了和OpenAI存在秘密協議，并表示沒有公開透明確實是“犯了一個錯誤”。
但Epoch.ai否認了OpenAI作弊的說法，表示一方面OpenAI拿到的數據并不是全部，另一方面OpenAI也口頭承諾拿到的數據不會用于模型訓練。
Besiroglu回應全文如下（中文為機翻）：
圖片
但對于Besiroglu提到的“口頭承諾”，有網友表示至少要有個書面的協議，但猜測OpenAI不會愿意提供，還有人補充說哪怕有書面材料也很難監督實施。
不過到現在，確實是所有的回應都來自Epoch.ai這邊，OpenAI還沒給出說明。
圖片
另外Epoch.ai首席數學家Ellot Glazer也承諾，之后會對受到的資助進行說明。
對于o3的成績，Ellot表示Epoch.ai無法給出承諾，但他個人相信OpenAI的報告是準確的，因為在他看來OpenAI“沒有撒謊的動機”。
同時他說Epoch.ai正在開發一個保留數據集，能夠確保OpenAI在測試之前無法事先接觸。
圖片
不過有網友對“沒有動機”的說法表示懷疑，Ellot也進行了解釋，表示OpenAI沒有傻到搬起石頭砸自己的腳。
圖片
話又說回來，o3到現在依然是個黑盒，到底是名副其實還是炒作噱頭，等到發布的那天就揭曉答案了。
參考鏈接：
[1]https://www.lesswrong.com/posts/cu2E8wgmbdZbqeWqb/meemi-s-shortform
[3]https://www.reddit.com/r/singularity/comments/1i4n0r5/this_is_so_disappointing_epoch_ai_the_startup/
