6 月 7 日消息，當下 GPT-4 模型最大的短板主要是算術能力，由于模型的邏輯推理能力尚待提升，因此即使是許多人認為相對簡單的計算問題，GPT-4 卻無法得出正確的結果。

近日，新加坡國立大學研究者推出了 Goat 模型，稱該模型“專門用于算術問題”。研究人員表示“在對 LLaMA 模型進行微調后，Goat 在算數上實現了比 GPT-4 更高的準確度與更出色的性能”。

▲ 圖源 Arxiv

研究人員提出了一種新辦法，將任務根據算數的可學習型進行分類，然后利用基本算術原理將不可學習的任務分解為一系列可以學習的任務（IT之家注：把復雜的計算過程分點拆解成簡單的步驟）后導入 AI 模型。

這種新方法可以令模型學習答題模式，并將過程泛化為看不見的數據，而非僅僅依靠純粹的“權重記憶計算”，因此能夠有效地提高算數性能，可以在零樣本學習中以“近乎完美的精度”為大數加法和減法生成答案。

▲ 圖源 Arxiv

研究人員在具備 24 GB 顯存的 GPU 上進行訓練，并將最終得到的模型使用 BIG-bench 算數子任務進行測試，準確率結果較為出眾，領先于業內的 Bloom、GPT-NeoX、OPT 等模型。其中零樣本的 Goat-7B 的準確率甚至一度超過了少樣本學習后的 PaLM-540 模型，在大數計算方面遠超 GPT-4。

小伙伴們可以在這里找到論文的鏈接。