模型災難性遺忘，成為當前一個關鍵熱門話題，甚至連GPT-4也無法避免。

近日，來自UC伯克利、NYU等機構研究人員發現，微調后的多模態大模型，會產生災難性遺忘。

論文地址：https://arxiv.org/abs/2309.10313

論文中，研究團隊引入了首個研究MLLM災難性遺忘的評估框架——EMT（Evaluating MulTimodality）。（老二次元的基因動了）

在多個基準上評估4個模型后，發現多數模型無法保持與其基礎視覺編碼器（CLIP）相似的分類性能。

同時，在一個數據集上對LLaVA進行微調會導致在其他數據集上出現災難性遺忘。

MLLM的EMT評估流程如下：

通過 (1) 提示每個MLLM作為圖像分類器輸入來自分類任務的圖像；(2) 要求MLLM明確回答分類任務中的單個標簽。并使用另一個LLM評估每個輸出的正確性。

馬毅教授對這項研究也做了推薦，在一些新任務上通過微調得到的性能提升，是以以前能力大幅下降為代價。

一起來看看究竟怎么回事？

微調后，大模型忘性更嚴重了

GPT-4之后，一系列多模態大語言模型（MLLM）的研究噴涌而出。

業界常用的做法是將預訓練的視覺編碼器與開源LLM集成，以及對生成視覺語言模型進行指令調優。

雖然許多經過微調的MLLM在通用視覺語言理解方面，展現出卓越的能力，但這些模型仍然遭受災難性遺忘。

也就是說，模型往往會過度擬合微調數據集，從而導致預訓練任務的性能下降。

圖像分類中的災難性遺忘，已在CV和ML領域中有著廣泛的研究。

然而，MLLM的最新發展主要集中在，創建用于視覺問答多模態聊天機器人，而沒有評估其基本圖像分類能力，更不用說探索MLLM中的災難性遺忘了。

話雖如此，先前的MLLM評估框架主要側重于評估「認知推理能力」或「幻覺」，而忽略了研究如何在MLLM中災難性遺忘的必要性。

總而言之，最新研究做出了2個關鍵貢獻：

- 提出了EMT，一個專門設計用于評估MLLM中災難性遺忘現象的評估框架。

據研究人員所知，它是第一個通過分類研究MLLM災難性遺忘的評估框架。通過EMT，研究團隊發現幾乎所有測試的模型都無法保留其視覺編碼器的分類性能。

- 對LLaVA進行了微調實驗。

實驗結果表明，適度的微調對于非微調任務是有利的，但過度的微調最終會導致這些任務中的災難性遺忘。

EMT：評估開源多模態大模型

具體來講，EMT的工作原理如下：

(1) 首先輸入來自分類任務的圖像；

(2) 然后，根據每個數據集，要求測試MLLM對輸入圖像進行分類，并通過提供的提示收集其輸出；

(3) 接下來，由于MLLM的輸出可能不遵循特定格式，因此研究人員用GPT-3.5來評估分類精度；

(4) 最后，輸出測試MLLM在不同數據集上的預測精度

開源MLLM災難性遺忘

研究人員首先用EMT來評估四個模型：LLaVA、Otter、LENS和InstructBLIP。

它們在MNIST、CIFAR10、CIFAR100和miniImageNet上的分類準確率介紹如下。研究團隊按基本ViTCLIP模型對所展示的徑向圖進行了區分。

盡管大多數測試的MLLM無法獲得與其基礎視覺編碼器相似的性能，但仍有幾處值得注意：

- InstructBLIP-7b是唯一的例外，其性能優于視覺編碼器

- 在所有測試模型中，LENS的整體分類性能最差

不同MLLM在MNIST、CIFAR-10、CIFAR-100和miniImagenet上的EMT評估精度

檢驗預測結果

研究人員對不同模型在不同數據集上的輸出結果進行了分析，并找出了影響分類準確性的三大因素：

- 錯誤預測：與其他分類任務一樣，MLLM有時也會做出錯誤的預測。

在如下示例中，LLaVA-7B在MNIST分類中錯誤地將0看做成8。

- 內在幻覺：經過測試的MLLM有時會生成看似相關，但不正確或無法驗證的內容，簡之，生成的輸出與源內容直接矛盾。

其中一個例子是，要求LENS對CIFAR-10進行分類。

值得注意的是，EMT提示明確指示，測試MLLM僅識別所有類標簽中的單個對象。

盡管有這些明確的說明，LENS仍然會產生本質上幻覺的輸出——飛機、汽車、鳥、貓、鹿、狗、青蛙、馬，一個包含多個標簽的答案。

- 外在幻覺：輸出與原始源內容沒有可驗證的聯系。

如下示例中，雖然生成的輸出文本部分包含標簽「觀賞魚」，但它還顯示了附加描述符，這些描述符不僅難以驗證，而且與提示概述的原始請求無關。

微調LLaVA

接下來，研究人員使用EMT來評估LLaVA微調過程中的精度變化。

在此，他們使用LLaVA-7b和LLaVA-13b作為基礎MLLM進行微調，并且分別在MNIST、CIFAR-10、CIFAR-100和 miniImagenet上進行微調實驗。

具體方法是微調（1）線性適配器層（表示為線性）；（2）線性適配器層和使用Lora的LLM（表示為lora）。

下圖展示了3個epoch微調結果。雖然LLaVA的性能確實在微調數據集上有所提高，但圖中揭示了MLLM微調的一個關鍵問題：

在一個數據集上微調MLLM會降低另一非微調數據集上的性能。

這種現象雖然并不出人意料，但卻值得注意。由于該模型除了經過微調的數據集之外沒有接觸過其他數據集，因此理所當然會觀察到與災難性遺忘類似的影響。

經過微調實驗表明：

- 在一個數據集上進行微調會導致其他數據集上的災難性遺忘，這種現象在線性微調和Lora微調中都會發生

- Lora微調比線性微調導致更多遺忘

接下來，研究人員將通過提供精確度曲線，來更詳細地研究微調過程。

從分類曲線中可以看出：

- 線性微調具有普適性，因為使用RGB數據集（CIFAR10、CIFAR100、miniImageNet）進行線性微調也能在第一個epoch提高其他RGB數據集的準確率

- Lora微調不具備線性微調的通用性

檢驗預測結果

當研究人員檢查微調LLaVA的輸出時發現：

它會輸出與其微調數據集相關的文本，同時忽略與其原始提示相關的問題，從而產生幻覺。

為了進一步說明這一現象，研究團隊提供了對LLaVA-7b和LLaVA-13b進行分類的明確示例，這些示例已使用EMT提示在不同數據集上進行了微調。

如下的演示說明，當CIFAR-10微調模型在CIFAR10上進行測試時，LLaVA確實能成功識別物體。

然而，在其他數據集上進行微調后，LLaVA模型在CIFAR-10分類中開始出現幻覺。

在這個例子中，通過MNIST微調模型對CIFAR-10進行分類時，模型不僅部分生成了關鍵詞「飛機」，而且同時產生了數字「8」的幻覺輸出。

另外，研究人員在CIFAR-100和miniImagenet微調模型中也觀察到了類似的現象。

具體來說，這些微調模型開始產生幻覺，將「飛機」預測為與「飛機」相似或相關的類別，如CIFAR-100模型中的「蝴蝶」和miniImagenet模型中的「航空母艦」。

上述例子表明：

- 微調MLLM確實提高了微調數據集的分類性能

- 微調MLLM在其他數據集上會導致災難性遺忘，因為微調MLLM會記憶微調數據集，從而產生幻覺文本

作者介紹

Yuexiang Zhai

Yuexiang Zhai是加州大學伯克利分校的博士生，由馬毅教授和Sergey Levine教授指導。

Shengbang Tong（童晟邦）

Peter Tong（Shengbang Tong，童晟邦）是NYU Courant CS的一名博士新生，導師是Yann LeCun教授和謝賽寧教授。

此前，他在加州大學伯克利分校主修計算機科學、應用數學（榮譽）和統計學（榮譽）。并曾是伯克利人工智能實驗室（BAIR）的研究員，導師是馬毅教授和Jacob Steinhardt教授。

他的研究興趣是世界模型、無監督/自監督學習、生成模型和多模態模型。

Xiao Li

Xiao Li是香港中文大學（深圳）數據科學學院的助理教授。

在此之前，他于2016年至2020年在香港中文大學獲得博士學位，導師是Thierry Blu教授和Anthony Man-Cho So教授。于2012年至2016年在浙江工業大學攻讀本科學位。

Mu Cai

Mu Cai是威斯康星大學麥迪遜分校計算機科學的博士生，導師是Yong Jae Lee教授。

他的研究興趣在于深度學習和計算機視覺的交叉領域，尤其是視覺LLM、三維場景理解和自監督學習。

Qing Qu

Qing Qu是密歇根大學安娜堡分校工程學院電子工程與計算機科學系ECE的助理教授。他還隸屬于密歇根數據科學研究所（MIDAS）、密歇根應用與跨學科數學中心（MCAIM）和密歇根計算發現與工程研究所（MICDE）。

他于2011年獲得清華大學學士學位，2018年在哥倫比亞大學獲得博士學位。2018年至2020年，他在紐約大學數據科學中心擔任Moore-Sloan研究員。

他是SPARS'15最佳學生論文獎獲得者，也是2016年微軟機器學習博士獎學金獲得者。他于2022年獲得美國國家自然科學基金事業獎，并于2023年獲得亞馬遜AWS人工智能獎。

他的研究興趣在于信號處理、數據科學、機器學習和數值優化的交叉領域。他尤其關注從高維數據中學習低復雜度模型的計算方法，利用機器學習、數值優化和高維幾何的工具，應用于成像科學和科學發現。

最近，他的主要興趣在于從低維建模的角度理解深度網絡。

Yi Ma

馬毅教授是IEEE、ACM和SIAM的會士，目前擔任香港大學同心基金數據科學研究院院長，以及加州大學伯克利分校電子工程與計算機系教授。

他于1995年獲得清華大學自動化和應用數學學士學位，1997年獲得加州大學伯克利分校的數學碩士學位及電子工程與計算機科學碩士學位，并于2000年獲得該校的電子工程與計算機科學博士學位。

馬教授曾于2000年至2011年在在伊利諾伊大學厄巴納-香檳分校（UIUC）電氣與計算機工程系任教；2009年至2014年，擔任微軟亞洲研究院計算機視覺組主任及首席研究員；2014年至2017年出任上?？萍即髮W信息科學與技術學院教授、執行院長；2018年加入加州大學伯克利分校電子工程與計算機科學系任教。

他在計算機視覺、廣義主成分分析和高維度數據分析方面，發表了超過60篇期刊論文，120篇學術會議論文，以及著有3本教科書。

他分別在2004年獲得美國國家自然科學基金職業獎，2005年獲得美國國家航空研究局青年研究員獎。并在1999年的國際計算機視覺大會（ICCV）上獲得David Marr最佳計算機視覺論文獎。他還獲得2004年歐洲計算機視覺會議（ECCV）的最佳論文獎榮譽提名、2009年亞洲計算機視覺會議（ACCV）的最佳學術論文獎。

此外，馬教授還曾擔任ICCV 2013的程序主席和ICCV 2015的大會主席。