1、LLM訓(xùn)練的隱秘危機(jī)：1%的合成數(shù)據(jù)或致模型崩潰  

在LLM快速發(fā)展的今天，一個令人擔(dān)憂的現(xiàn)象正悄然出現(xiàn)——模型崩潰。研究發(fā)現(xiàn)，即便在訓(xùn)練數(shù)據(jù)中僅包含1%的合成數(shù)據(jù)，也可能導(dǎo)致LLM模型性能嚴(yán)重下降，無論如何增加訓(xùn)練數(shù)據(jù)量都無法提升效果。    

更令人意外的是，增加模型規(guī)模這一當(dāng)前廣泛采用的方法，非但不能緩解問題，反而可能加劇模型崩潰。研究團(tuán)隊通過理論分析和實驗證明，在某些情況下，更大的模型可能會放大這種崩潰效應(yīng)。這一發(fā)現(xiàn)對目前流行的"越大越好"的LLM訓(xùn)練理念提出了挑戰(zhàn)。

有趣的是，研究還指出，當(dāng)模型達(dá)到"插值閾值"后（這個閾值對于超大數(shù)據(jù)集可能非常高），增大模型規(guī)?？赡軙谝欢ǔ潭壬暇徑獗罎F(xiàn)象，盡管無法完全避免。這一理論預(yù)測在語言模型和圖像處理神經(jīng)網(wǎng)絡(luò)的實驗中得到了驗證。    

這項研究為LLM領(lǐng)域敲響了警鐘：我們需要重新審視數(shù)據(jù)質(zhì)量對模型訓(xùn)練的影響，特別是在合成數(shù)據(jù)日益普及的今天。它也為未來LLM的設(shè)計和訓(xùn)練提供了新的思路，提醒我們在追求更大規(guī)模的同時，也要關(guān)注數(shù)據(jù)的真實性和代表性。在LLM競賽日益激烈的今天，這份研究無疑為從業(yè)者們提供了寶貴的見解。

論文標(biāo)題：Strong Model Collapse

論文鏈接：??https://arxiv.org/abs/2410.04840??   

2、大語言模型的"內(nèi)心戲"：LLM比你想象的更聰明，卻在"裝傻"？ 

最新研究揭示，大語言模型（LLMs）可能比我們想象的更聰明，但它們似乎在"裝傻"。即使在LLM產(chǎn)生錯誤或"幻覺"時，其內(nèi)部表征仍然編碼了大量關(guān)于真實性的信息。這一發(fā)現(xiàn)顛覆了我們對LLM錯誤的傳統(tǒng)認(rèn)知。

研究團(tuán)隊通過一系列實驗發(fā)現(xiàn)，LLM的真實性信息集中在特定的詞元上，利用這一特性可以顯著提高錯誤檢測性能。然而，這種錯誤檢測器難以在不同數(shù)據(jù)集間泛化，暗示真實性編碼并非普遍性的，而是多方面的。更令人驚訝的是，研究發(fā)現(xiàn)LLM的內(nèi)部表征與外部行為之間存在明顯差異：模型可能在內(nèi)部編碼了正確答案，卻一致地生成錯誤回答。

這項研究不僅深化了我們對LLM錯誤的理解，還為未來的錯誤分析和緩解策略指明了方向。它揭示了LLM的內(nèi)部"知識"可能比其外部表現(xiàn)更豐富，這一發(fā)現(xiàn)可能徹底改變我們設(shè)計和優(yōu)化LLM系統(tǒng)的方式。

面對這個LLM似乎在"明知故犯"的現(xiàn)象，我們不禁要問：如何才能充分發(fā)揮LLM的潛力，讓它們"知行合一"？這個問題不僅關(guān)乎技術(shù)，更涉及到LLM的可信度和未來發(fā)展方向。隨著研究的深入，我們或許能找到讓LLM更好地展現(xiàn)其內(nèi)在智慧的方法，推動人工智能向更可靠、更透明的方向發(fā)展。

論文標(biāo)題：LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

論文鏈接：??https://arxiv.org/abs/2410.02707??

本文轉(zhuǎn)載自 ??AI帝國??，作者： 無影寺