大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：

• LoRA或許暗藏玄機
• 數字也會騙人？GPT-4都會說9.11>9.9，人工智能的"數學殘障"有救了嗎？    

1、LoRA或許暗藏玄機

近期，一項重磅研究揭示了AI訓練中廣受歡迎的LoRA方法可能存在隱患。雖然LoRA能讓模型訓練時節省90%以上的顯存，在目標任務上表現堪比完整微調，但研究人員發現這種"看似完美"的方法背后，或許并不如表面那么美好。    

研究團隊通過對模型權重矩陣的深入分析發現，LoRA訓練出的模型中存在一些特殊的"入侵維度"（intruder dimensions）。這些維度就像是模型中的"異質成分"，雖然不影響模型在目標任務上的表現，但會導致模型"忘記"更多預訓練時學到的知識，并且在持續學習多個任務時表現不夠穩定。

有趣的是，研究人員發現，當增加LoRA的秩（rank）時，這個問題會得到明顯改善。特別是當秩達到64時，模型的行為會更接近傳統的完整微調方法。這就像是在"節省"和"全面"之間找到了一個更好的平衡點。    

這項研究給AI從業者帶來了重要啟示：在選擇使用LoRA時，不能只關注顯存占用和目標任務的表現，還需要考慮模型的泛化性能。同時，適當增加LoRA的秩可能是一個值得考慮的優化方向。這為如何更好地應用LoRA提供了新的思路。

• 論文標題：LoRA vs Full Fine-tuning: An Illusion of Equivalence
• 論文標題：??https://arxiv.org/abs/2410.21228v1??       

2、數字也會騙人？GPT-4都會說9.11>9.9，人工智能的"數學殘障"有救了嗎？

大語言模型（LLM）近來可以解答奧數題、高考數學，甚至能做研究生難度的數學題。但你可能想不到，這些"數學天才"卻在最基礎的數字理解上栽了跟頭——它們居然會認為9.11比9.9大！這就好比一個解題思路完全正確的學霸，卻在最后的計算環節總是粗心大意地出錯。    

為了系統研究這個問題，來自北京大學等機構的研究人員開發了一個全面的測試基準。他們從小學到高中的數學課程中提取了4種數字表示方法（整數、小數、分數、科學計數法）和17種基礎運算任務，創建了41組測試。這些看似簡單的任務，即使是最新的GPT-4和Llama-3.1這樣的頂尖模型也頻頻失手，尤其是在稍微復雜一點的計算（如乘法、取模）或處理整數之外的數字表示時。

研究團隊嘗試了三種改進方案：優化預訓練階段的數字處理能力、對現有模型進行微調、使用鏈式思考（CoT）技術。有趣的是，簡單的微調確實能顯著提升模型的數字理解能力，但那些專門設計用來增強數字處理的技巧反而會適得其反。這就像給一個已經形成思維定式的學生重新教授基礎知識，反而會打亂他原有的認知體系。    

這項研究揭示了一個重要但經常被忽視的問題：在人工智能追求解決高深數學問題的同時，最基礎的數字運算能力反而成了"短板"。這就好比一個會解微積分的學霸，卻在1+1等基礎題上犯錯。不過好消息是，研究人員已經開始認真對待這個問題，相信在不久的將來，AI的"數學殘障"會得到根本性的改善。

論文標題：Number Cookbook: Number Understanding of Language Models and How to Improve It

論文鏈接：??https://arxiv.org/abs/2411.03766??

本文轉載自 ??AI帝國??，作者： 無影寺