剛剛由清華大學(xué)本科生伍垟圳為一作的論文《推理Scaling Laws：面向語(yǔ)言模型問(wèn)題求解的計(jì)算最優(yōu)推理實(shí)證分析》在頂級(jí)AI學(xué)術(shù)會(huì)議NeurIPS 2024 Math-AI上榮獲杰出論文獎(jiǎng)（Outstanding Paper Award）。這項(xiàng)研究不僅刷新了人們對(duì)推理階段計(jì)算優(yōu)化的理解，還為如何在有限計(jì)算資源下實(shí)現(xiàn)更高效的大語(yǔ)言模型（LLM）推理提供了全新的思路

論文亮點(diǎn)：推理階段的計(jì)算優(yōu)化新突破

1. 小模型也能打敗大模型：重新定義推理階段的效率

論文系統(tǒng)性地研究了不同模型大小和推理策略在固定計(jì)算預(yù)算下的表現(xiàn)，發(fā)現(xiàn)小模型（如Llemma-7B）在結(jié)合高級(jí)推理算法后，能夠?qū)崿F(xiàn)比大模型（如Llemma-34B）更優(yōu)的成本性能平衡。例如，在數(shù)學(xué)推理任務(wù)中，Llemma-7B通過(guò)生成更多候選解并使用優(yōu)化的投票策略，可以在計(jì)算量減半的情況下達(dá)到甚至超越Llemma-34B的準(zhǔn)確率。這一發(fā)現(xiàn)顛覆了“大模型總是更好”的傳統(tǒng)認(rèn)知，為實(shí)際應(yīng)用中的資源受限場(chǎng)景提供了新思路

2. REBASE算法：推理策略的革新

推理階段的一個(gè)關(guān)鍵問(wèn)題是如何在有限計(jì)算預(yù)算下高效搜索高質(zhì)量解答。論文提出了一種名為REBASE（獎(jiǎng)勵(lì)平衡搜索，REward BAlanced SEarch） 的新型樹搜索算法

• 與傳統(tǒng)算法的對(duì)比：傳統(tǒng)的蒙特卡洛樹搜索（MCTS）雖然能提升推理性能，但計(jì)算開銷巨大，常常需要生成大量冗余解。而REBASE通過(guò)獎(jiǎng)勵(lì)機(jī)制智能控制搜索節(jié)點(diǎn)的擴(kuò)展，避免了不必要的計(jì)算浪費(fèi)
• 性能表現(xiàn)：在所有測(cè)試的計(jì)算預(yù)算范圍內(nèi)，REBASE都實(shí)現(xiàn)了帕累托最優(yōu)的成本性能平衡。例如，在MATH數(shù)據(jù)集上，REBASE使用7B模型的表現(xiàn)優(yōu)于34B模型搭配傳統(tǒng)推理策略。這表明通過(guò)設(shè)計(jì)更高效的推理算法，可以顯著提升推理性能而無(wú)需依賴更大的模型

3. 推理性能的理論與實(shí)踐結(jié)合

論文不僅通過(guò)實(shí)驗(yàn)驗(yàn)證了推理階段的規(guī)模律，還在理論層面對(duì)采樣與投票策略的表現(xiàn)進(jìn)行了深入分析：

• 采樣策略的極限：論文證明了，傳統(tǒng)的采樣方法（如加權(quán)多數(shù)投票）在采樣次數(shù)無(wú)限增加時(shí)，其性能會(huì)逐漸飽和，達(dá)到由模型生成概率分布決定的上限
• 新策略的優(yōu)勢(shì)：相比于單純?cè)黾硬蓸哟螖?shù)，設(shè)計(jì)能夠智能選擇高質(zhì)量解的推理算法（如REBASE）能突破這一瓶頸，延遲性能飽和點(diǎn)并提高最終準(zhǔn)確率

4. 實(shí)驗(yàn)覆蓋廣泛，結(jié)果具有普適性

論文的實(shí)驗(yàn)覆蓋了多種數(shù)據(jù)集（如MATH和GSM8K）以及多種模型架構(gòu)（如Pythia、Mistral、Llemma），驗(yàn)證了結(jié)論的廣泛適用性：

• 數(shù)據(jù)集層面：在簡(jiǎn)單的數(shù)學(xué)推理任務(wù)（GSM8K）和復(fù)雜的數(shù)學(xué)競(jìng)賽問(wèn)題（MATH）上，REBASE都表現(xiàn)出顯著優(yōu)勢(shì)
• 模型層面：無(wú)論是7B的小模型還是34B的大模型，REBASE均能提升推理效率，其中性能較弱的小模型獲益更大

5. 實(shí)用性強(qiáng)：為工業(yè)應(yīng)用提供指導(dǎo)

論文的研究對(duì)實(shí)際應(yīng)用場(chǎng)景具有重要意義。現(xiàn)代AI應(yīng)用中，推理階段的計(jì)算成本往往是模型部署的瓶頸。研究表明，通過(guò)選擇合適的模型大小并搭配高級(jí)推理策略，可以在有限資源下實(shí)現(xiàn)更優(yōu)性能。這一發(fā)現(xiàn)為低成本部署高性能模型提供了新的思路，尤其適用于資源受限的設(shè)備（如手機(jī)端、邊緣設(shè)備）和云計(jì)算場(chǎng)景

為什么這項(xiàng)研究重要？

隨著大語(yǔ)言模型的規(guī)模不斷擴(kuò)大，其推理階段的計(jì)算成本也隨之飆升。如何在有限計(jì)算資源下實(shí)現(xiàn)最優(yōu)性能，成為實(shí)際應(yīng)用中亟待解決的問(wèn)題

具體而言，這項(xiàng)研究對(duì)未來(lái)的AI模型部署和優(yōu)化有以下幾點(diǎn)啟示：

1. 成本優(yōu)化：在計(jì)算資源有限的場(chǎng)景（如手機(jī)端或嵌入式設(shè)備）中，小模型搭配高級(jí)推理策略可能比大模型更具實(shí)際價(jià)值

2. 算法創(chuàng)新：REBASE的成功表明，推理階段的算法設(shè)計(jì)仍有巨大潛力。這為開發(fā)更高效的推理算法開辟了新方向

3. 學(xué)術(shù)突破：論文首次系統(tǒng)性地研究了推理階段的規(guī)模律，為后續(xù)研究奠定了理論基礎(chǔ)

清華本科生的國(guó)際舞臺(tái)崛起

論文一作伍垟圳是清華大學(xué)交叉信息研究院的一名本科生。值得一提的是，這項(xiàng)研究是在其訪問(wèn)卡內(nèi)基梅隆大學(xué)期間完成的，充分體現(xiàn)了清華學(xué)子的國(guó)際學(xué)術(shù)競(jìng)爭(zhēng)力

在這項(xiàng)研究中，伍垟圳與來(lái)自卡內(nèi)基梅隆大學(xué)的研究者共同合作，將理論分析與實(shí)驗(yàn)驗(yàn)證相結(jié)合，揭示了小模型在推理階段的巨大潛力

伍垟圳個(gè)人簡(jiǎn)介

伍垟圳（Yangzhen Wu），清華大學(xué)交叉信息研究院（IIIS）計(jì)算機(jī)科學(xué)專業(yè)三年級(jí)本科生，隸屬于由圖靈獎(jiǎng)得主姚期智教授指導(dǎo)的“姚班”。

目前，在卡內(nèi)基梅隆大學(xué)（CMU）進(jìn)行實(shí)習(xí)訪問(wèn)，導(dǎo)師為Yiming Yang教授和Sean Welleck教授

研究興趣主要集中在以下領(lǐng)域：

? 面向代碼和數(shù)學(xué)的機(jī)器學(xué)習(xí)；

? 大語(yǔ)言模型的推理能力；

? 推理算法及其可擴(kuò)展性。

獲獎(jiǎng)經(jīng)歷

? AI數(shù)學(xué)奧林匹克 - 進(jìn)步獎(jiǎng)1（第二名，獎(jiǎng)金$65536）Kaggle，2023年6月（共1161名參賽者，第2名）

? 第35屆中國(guó)數(shù)學(xué)奧林匹克金牌。中國(guó)數(shù)學(xué)會(huì)，2019年11月