只要1/200的參數，就能讓大模型擁有和GPT-4一樣的數學能力？

來自復旦和上海AI實驗室的研究團隊，剛剛研發出了具有超強數學能力的模型。

它以Llama 3為基礎，參數量只有8B，卻在奧賽級別的題目上取得了比肩GPT-4的準確率。

這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結合而成。

它能用少量的數據實現和GPT-4等的相同效果，讓網友感嘆Q*成真了，小模型在數學上也能做的和GPT-4等著名模型一樣好。

就此又有網友表示，MCTSr能用極少的參數實現相同的效果，加上有時候訓練收益隨規模遞減，表明架構才是當前AI的瓶頸，而不是運算。

這樣的趨勢也讓人想起了AI算力霸主英偉達，開始思考規模化是不是不那么重要了，會不會利空老黃呢？

所以，MCTSr具體運用了什么樣的方法呢？

將蒙特卡洛引入大模型

MCTSr名字里是MCT，指的就是蒙特卡洛樹（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。

蒙特卡洛樹又稱隨機抽樣或統計試驗方法，是指一種使用重復隨機采樣生成合成模擬數據的近似方法，谷歌的圍棋機器人AlphaGo當中也用到了這種方法。

名字中沒有體現的，是蒙特卡洛與大模型的結合，本項目當中使用的是Llama 3-8B，同時MCTSr還引入了自我修正和自我評估的迭代過程。

在解答數學問題時，MCTSr中的大模型首先會像正常流程一樣生成初步答案（甚至可以是“我不知道”），但并不會直接作為輸出。

為了改進這個初始答案，MCTSr算法會對其進行評估和反饋，語言模型會被要求對答案進行評價和批評，分析其中可能存在的問題。

然后大模型基于反饋進行自我修正，產生一個新的答案，這個新版本會納入搜索樹中，成為一個新的子節點。

針對多個子節點，系統會進行評分和獎勵采樣，計算出該節點的“Q值”（a表示答案節點，Ra表示a的獎勵樣本集合，|Ra|表示樣本數量），可以看出Q值的計算綜合考慮了節點在最壞情況和平均情況下的表現。

為了提高評估的可靠性，系統采用了嚴格的打分標準，并會進行重復采樣，同時還采取了禁止模型給出滿分等策略。

然后基于Q值，MCTSr會使用改進的UCB公式計算每個葉子節點的UCT值，選擇UCT值最高的節點進行擴展。

（UCB是一種實現總獎勵最大化的方式，UCT是將UCB策略應用于樹形搜索問題的一種算法。）

計算UCT值的目的，是為了平衡了節點的平均獎勵和訪問頻率，避免單純追求高Q值導致的效率下降。

此外，作者修正的UCT計算公式中還引入了動態調整探索系數c，以便在搜索過程中適應不同的問題復雜度，并在探索廣度和深度之間做出平衡。

被選中的節點，會通過大模型再次進行自我修正，生成新的答案節點，然后再次進行自我評估并計算Q值。

新的Q值會被并反向傳播到其父節點和祖先節點，確保了搜索樹中節點的質量評估隨著搜索的進行而不斷改進。

根據新的Q值和訪問次數，各個節點的UCT值也會被重新計算。

接著，上述步驟會被不斷重復，直到滿足預設的終止條件，此時具有最高Q值的答案節點被視為問題的最優解。

總的來說，通過蒙特卡洛搜索、自我完善與大模型的集合，MCTSr實現了數學問題最優解的生成。

那么，這種方法的實際效果究竟如何呢？

成績不輸GPT-4和Claude-3

在測試當中，作者一共使用了四種模型配置——零樣本思維鏈（CoT），以及1/4/8輪自我優化的MCTSr，其中零樣本為對照組。

測試數據集包括MATH的5個level，GSM-8K和GSM-Hard，以及一系列奧賽級別的數據集——AIME、Math Odyssey 和OlympiadBench。

先看簡單一些的GSM和MATH。

從下表中可以看出，隨著自我優化輪數是增多，模型取得的準確率也在增加，經過8輪之后，在GSM-8K上已經達到了96.66%。

而Gemini（1.5Pro，下同）、Claude-3（Opus，下同）、GPT-4（Turbo，下同）的成績則分別是94.4、95和97.1，可以看出參數只有8B的MCTSr和這些先進模型不相上下。

同樣在MATH上，無論是整體還是細分的五個難度等級，成績隨優化輪數的變化都呈現出了相同趨勢。

特別是在最困難的Level-5上，8輪后的成績已經接近了對照組的5倍。

在MATH上，Gemini、Claude-3和GPT-4的成績分別為67.7、60.1和73.4，相比之下MCTSr略遜一籌，但也和Claude比較接近。

在更加困難的奧賽級別題目上，自我優化給MCTSr帶來的能力增強也十分顯著。

在Math Odyssey上，MCTSr甚至超過了Gemini、Claude-3和GPT-4，三者的成績分別是45、40和49.1。

同時，在OlympiadBench上，經過8輪優化后，MCTSr的成績是零樣本時的6.2倍。

值得一提的是，Math Odyssey數據集在2024年4月才發布，其內容與Llama 3的預訓練語料重疊度很低。

而在這個數據集上，MCTSr模型的性能從Zero-Shot CoT的17.22%提升到了8-rollouts MCTSr的49.36%。

這一結果表明，MCTSr在面對全新的問題時，已經顯現出了一定的泛化能力。

目前，MCTSr的代碼已經開源，感興趣的讀者可以到GitHub當中了解。

論文地址：https://arxiv.org/abs/2406.07394
GitHub：https://github.com/trotsky1997/MathBlackBox