提升LLM數學能力的新方法來了——

一個大模型不行，那就兩個。讓他們彼此合作，糾正對方的錯誤。

這就是來自加州大學和微軟研究院的最新研究成果：Flow-DPO。通過使用在線學習流（Flow）和直接偏好優化（DPO, Direct Preference Optimization），可以讓LLM生成更加詳細和精確的推理軌跡。

同時，這種在線多智能體（Agent）的學習形式還能挖掘數據中的深層信息，有效避免了人類標注數據不夠準確的問題。

我們先一起看個例子感受一下。

比如針對下面這道題：

方程 x + 2y + 3 = 0 的圖與方程 ax + 2y + 3 = 0 的圖互相垂直。請問ax + 2y + 3 = 0中，a 的值是多少？

基準回答是這樣的：

方程 x + 2y + 3 = 0 的圖形的斜率為 -1/2，因為圖形垂直，所以 ax + 2y + 3 = 0 的圖形的斜率必須是 x + 2y + 3 = 0 的負倒數。因此，方程 ax + 2y + 3 = 0 的斜率為2，改寫為2y = -ax - 3，然后兩邊除以 2，得到 y = -a/2x-3/2。將此與斜率截距形式 y = mx + b 相比，我們發現斜率 m 為 -a/2。由于我們知道斜率為 2，所以 - a/2= 2。將兩邊乘以 -2，得到 a = -4，答案為：-4。

而Flow-DPO的回答是這樣的：

要解決這個問題，我們需要了解線性方程中垂直線的概念。當兩條直線垂直時，它們的斜率互為負倒數。讓我們以斜率-截距形式復述給定方程 x + 2y + 3 = O，即 y = -1/2x - 3/2。這告訴我們直線的斜率是 - 1/2。現在，我們需要找出方程 ax + 2y + 3 = 0 所表示的直線的斜率。我們可以將方程改寫成斜率-截距形式，即 y = -a/2x - 3/2。這告訴我們這條直線的斜率是-a/2。由于兩條直線垂直，因此它們的斜率互為負倒數。這意味著 -1/2 * (-a/2) = 1，簡化為 a = -4。因此，a 的值為 -4。

讓GTP-4o當裁判，針對兩個模型的回答分析了一下，它認為答案B（FLow-DPO）更好，原因有兩點：

1.概念解釋

答案 A 的回答是：“我們可以利用斜率之間的負倒數關系來求解 a”。答案 B 花時間明確解釋了垂直的概念，強調垂直線的斜率是負倒數。這種回答更有教育意義，可以讓讀者理解數學背后的推理。

2.解題思路清晰

答案A推導出了正確的方程并正確地求解了方程，但引入了一些不必要的步驟。

例如，中間步驟涉及將方程改寫為2y = -ax - 3 和兩邊除以 2 的中間步驟比必要的步驟復雜。

答案 B 立即使用兩個方程的斜截距形式簡化了方法。它有效地解釋了如何提取斜率，并直接比較了兩個等式的斜率，過程更直接，更容易理解。

結論

答案 B 的解釋更清晰、更透徹，既注重概念和公式，又避免了不必要的復雜性，這種循序漸進的方法更易于理解和掌握。

可以看到，在解決真實數學問題的時候，Flow-DPO生成的推理過程不僅有更詳細的指導，還避免了不必要的復雜性，增強了可讀性和理解性。

這是怎么做到的呢？

兩個大模型彼此合作

針對LLM解決數學問題時反饋信息有限、標注數據質量不高等問題，團隊提出了一種新的方法。

那就是通過在線學習流（Flow）和直接偏好優化（DPO）學習來生成高質量的推理軌跡。

具體分為2個部分：

1.增量輸出生成Flow（Incremental Output Production Flow）

Flow-DPO采用了增量輸出生成Flow，其中有兩個獨立的LLM（Answer LLM和Stop LLM）協同工作，通過迭代通信構建解決方案。

具體來說，Answer LLM一次會生成一個有限的答案塊，而Stop LLM則判斷部分答案是否達到最終狀態，兩個LLM通過迭代式學習不斷進步。

Answer LLM和Stop LLM的底層都是相同的基礎模型，但它們使用不同的LoRA適配器進行了微調，可以專門完成各自的任務。

而且在訓練過程中，Flow-DPO可實現更精細的控制較小的塊大小，靈活適應不同的概念和方法，較大的塊大小近似于單次模型生成。

2.在線Flow學習與回滾（Online Flow Learning with Rollouts）

Flow-DPO還會通過在線DPO學習和回滾來增強Flow。

對于每個輸入問題，Answer LLM會生成一個答案片段，一直持續到產生完整的回答。

然后模型會在每個輸出節點進行隨機展開，比如在生成初始答案片段且Stop LLM判斷為“否”后，Flow還會生成另一個答案片段，基于之前的部分答案繼續構建。

如果兩個答案在正確性上不同，就把它們作為答案語言模型的DPO對，引導到正確答案的那個片段被選為首選響應。

顯著提高LLM數學推理能力顯著提高

為了驗證Flow-DPO的性能，研究團隊還設計了精密的驗證實驗，具體設置如下

• 數據集：實驗使用了MetaMath數據集，該數據集基于于GSM8K和MATH數據集，并通過數據增強技術進行了增強。
• 模型選擇：實驗采用了兩種不同規模的模型：Llama-3-8B-Instruct和Phi-3-medium-128k-instruct (14B)
• Flow學習階段：在Flow學習階段，團隊使用不同的LoRA適配器對Answer LLM和Stop LLM進行微調，讓它們在DPO訓練中的能力更加專業。
• 編譯階段：在編譯階段，收集Flow生成的正確推理軌跡和基線模型生成的正確推理軌跡，進行獨立評估。

最終結果顯示，使用了Flow-DPO之后，Llama3模型和Phi3在數學推理上的能力都大幅提升了！

一起來看看具體結果分析：

1.漸進驗證準確率（Progressive Validation Accuracy）

漸進驗證準確率的準確定義，是模型在訓練前對輸入訓練數據的累積準確度，公式和變量含義如下圖所示：

實驗結果顯示，在線DPO訓練顯著提高了Flow的泛化能力。

對于Llama-3-8B-Instruc模型，在線DPO學習在僅2000個訓練實例內將Flow的性能提高了20%。對于Phi-3-medium-128k-instruct模型，在線DPO學習使其準確率提高了4個百分點，達到了83%.

2.推理軌跡質量

Flow生成的推理軌跡在質量上也優于基線和模型生成的正確推理軌跡。

對于Llama-3-8B-Instruct模型，Flow生成的推理軌跡在GSM8K和MATH數據集上的微調準確率分別提高了6%和7.8%。

對于Phi-3-medium-128k-instruct模型，Flow生成的推理軌跡在兩個數據集上的微調準確率分別提高了1.9%和2.1%.

除了剛開始的垂直直線問題，研究團隊還放出了很多真實的解題回答和對比，感興趣的朋友可以查看論文的更多相關信息。

沒想到，不久前還讓LLM非常頭疼的數學問題現在也進步飛快！

有了優秀的邏輯分析能力，我們也能期待LLM未來能解決更多復雜的問題了。

參考鏈接：
[1]https://arxiv.org/abs/2410.22304。