引言：多模態對話幻覺的挑戰

在人工智能領域，開發能夠通過視覺和語言等多種渠道與人類互動的通用助手是一個重要問題。受到大型語言模型（LLMs）如ChatGPT的顯著成功的啟發，研究社區對開發能夠支持視覺-語言指令的多模態助手，即大型多模態模型（LMMs），表現出了越來越濃厚的興趣。這些模型在各種多模態任務中展現出了強大的零樣本泛化能力，例如分類、檢測、視覺問答（VQA）和圖像描述。

然而，盡管LMMs取得了巨大的成功，一些研究揭示了LMMs容易產生幻覺的傾向。大多數研究集中在對象幻覺上，即LMMs經常與給定圖像內容不一致地回答問題。但是，用戶系統對話對幻覺的影響卻鮮有關注。令人驚訝的是，我們發現，由于先前的用戶系統對話，這種幻覺可能會顯著加劇。例如，在ScienceQA數據集的一個測試示例中，先前的對話內容（“環?！保┡c當前問題相沖突，可能會分散LMMs的注意力，導致錯誤的回答（“木材”）。這個問題，我們稱之為對話幻覺，在實踐中非常關鍵，因為用戶通常通過多輪聊天與系統互動，用戶可能在早期聊天中無意中攻擊LMMs，然后在后續聊天中得到不真實的回答。

在本文中，我們首先提出了一個評估基準EvalDial，用以精確衡量LMMs的對話幻覺。我們的基準是在流行的多模態基準數據集上構建的，用于VQA和圖像描述任務。具體來說，對于每個數據集中的每個測試示例，我們創建相應的幻覺對話，這些對話可以添加到原始測試問題之前。為了模仿用戶在給定圖像的視覺上下文中與助手互動的實際行為，我們進一步引入了對抗性問題生成器（AQG），它通過利用額外的LMM與黑盒對抗性攻擊方法，自動生成與圖像相關但具有對抗性的對話。

為了緩解對話幻覺，我們進行了輸入令牌注意力分析，并發現幻覺主要是由于對先前對話的預測偏見，而不是視覺內容。然后，我們提出了對抗性指令調整（AIT），旨在通過在增強的視覺指令數據集上對LMMs進行魯棒性微調來減少預測偏見。在EvalDial的六個多模態數據集上進行的廣泛實驗表明，AIT成功減少了對話幻覺，同時保持甚至有時提高了VQA和圖像描述任務的性能。

論文標題：Mitigating Dialogue Hallucination for Large Multi-modal Models via Adversarial Instruction Tuning

論文鏈接：??https://arxiv.org/pdf/2403.10492.pdf??

多模態模型的進展與幻覺問題

1. 多模態模型的成功案例

多模態模型（Large Multi-modal Models，簡稱LMMs）是結合了視覺基礎模型和大型語言模型（Large Language Models，簡稱LLMs），如ChatGPT，以支持視覺-語言指令的人工智能系統。這些模型在多種多模態任務中展現出強大的零樣本泛化能力，例如分類、檢測、視覺問題回答（Visual Question Answering，簡稱VQA）和圖像描述（Captioning）。例如，LLaVA、MiniGPT-4和InstructBLIP等模型在這些任務上取得了顯著的成績。

2. 多模態模型面臨的幻覺挑戰

盡管多模態模型在多個領域取得了成功，但近期研究揭示了這些模型容易產生與輸入圖像和文本指令不一致的幻覺輸出描述，這種現象被稱為“幻覺”（hallucinations）。特別是在用戶系統對話中，這種幻覺問題可能會被前置對話所加劇。例如，前置對話中的某些內容（如“環?！保┡c當前問題相沖突，可能會分散LMMs的注意力，導致錯誤的回答（如“木頭”）。這個問題在實際應用中非常關鍵，因為用戶通常通過多輪對話與系統交互，這可能導致用戶在早期對話中無意中攻擊LMMs，并在后續對話中得到不可靠的回答。

對話幻覺的定義與影響

1. 對話幻覺的概念

對話幻覺是指在沒有任何對話的情況下生成的答案是可靠的，但在一些前置對話后變得不可靠的現象。這種幻覺可能包括各種類型的生成內容，如VQA任務中的錯誤答案、Captioning任務中的不準確描述，以及Object-finding任務中的非存在內容的響應。

2. 對話幻覺對用戶體驗的影響

對話幻覺對用戶體驗產生負面影響，因為它可能導致用戶得到與圖像或指令內容不一致的回答。在多輪對話中，用戶可能會因為早期對話中的內容而在后續對話中得到錯誤的信息。這不僅會影響用戶對系統的信任，還可能在實際應用中造成混淆和誤解。因此，對話幻覺的存在對于構建可靠、可信的多模態交互系統來說是一個重要的挑戰。

EvalDial：評估對話幻覺的新基準

1. EvalDial基準的構建

EvalDial是一個用于評估大型多模態模型（LMMs）對話幻覺的評估基準。它建立在流行的多模態基準數據集之上，這些數據集用于視覺問答（VQA）和圖像描述（Captioning）任務。EvalDial為每個測試樣例創建了三種類型的對話：通用對話、隨機對話和對抗性對話，這些對話被添加到原始測試問題之前。通用對話包含可以對任何圖像提出的通用問題及其對應的答案；隨機對話包含與給定圖像完全無關的隨機問題及其答案；對抗性對話包含與圖像相關但可能導致幻覺的問題。EvalDial的構建考慮了真實用戶與助手的交互行為，并引入了對抗性問題生成器（AQG），它利用額外的LMM和黑盒對抗性攻擊技術自動生成與圖像相關但具有對抗性的對話。

2. 生成對抗性對話的方法

對抗性問題生成器（AQG）旨在生成與圖像相關且聽起來自然的對抗性對話。AQG包含兩個常見的對抗性攻擊組件：威脅模型和對抗性目標。威脅模型限定了對抗性對話的類型，以確保對話與圖像相關且聽起來自然。為此，AQG利用額外的LMM生成與圖像相關且聽起來自然的對話，并通過更新對抗性提示令牌來實現。在優化過程中，只有上下文提示被擾動，通過在上下文令牌嵌入中注入隨機噪聲。對抗性目標使用NLP任務中用于對抗性攻擊的任何損失函數。AQG的整體優化過程詳細描述了如何找到具有更高目標損失的最佳對抗性對話。

圖片

圖片

對話幻覺的原因分析

1. 輸入令牌注意力分析

輸入令牌注意力分析是一種流行的方法，用于研究輸入特征對模型預測的貢獻。在這項工作中，引入了一種新的基于注意力的度量，即對話令牌注意力比率（DTAR），它通過計算前置對話對輸出答案預測的貢獻來幫助分析指令遵循LMM中的對話幻覺。

2. 對話令牌注意力比率(DTAR)的應用

DTAR定義為對話令牌的所有絕對注意力分數之和與所有輸入令牌的之和的比率。DTAR分析顯示，LLaVA模型在幻覺樣例中的DTAR得分高于非幻覺樣例，這意味著LLaVA在預測幻覺案例時更多地關注前置對話而非圖像特征。因此，需要一種新方法來抑制這種對幻覺對話的預測偏差。

對抗性指令調整(AIT)方法介紹

1. 幻覺對話的生成與注入

對抗性指令調整（Adversarial Instruction Tuning, AIT）方法旨在減少大型多模態模型（Large Multi-modal Models, LMMs）在處理視覺-語言指令時的幻覺現象。AIT方法通過在視覺指令數據集中生成并注入幻覺對話來進行魯棒性微調。這些幻覺對話包括通用對話、隨機對話和對抗性對話，它們被預先添加到原始測試問題或指令中。例如，通用對話可能是關于圖像中主導顏色的問題及其答案，而對抗性對話則是與圖像相關但可能導致原始測試問題產生幻覺的問題。

2. 掩蔽指令調整的技術細節

在AIT方法中，對于每個訓練樣本，會隨機選擇一定數量的對話輪次來注入幻覺對話。注入后，進行掩蔽指令調整，即在計算交叉熵損失時屏蔽幻覺對話的答案令牌，使得模型不會被訓練來生成幻覺對話中的答案。這樣，模型可以在存在先前幻覺對話的情況下，更魯棒地生成對后續問題的正確答案。

實驗驗證：AIT方法的有效性

*1. AIT在不同數據集上的表現

在多個多模態數據集上的實驗結果顯示，AIT方法能夠成功降低對話幻覺現象，同時在視覺問答（VQA）和圖像描述（Captioning）任務中保持或有時甚至提高性能。例如，在OKVQA、GQA和IconQA數據集上，AIT在VQA任務中的表現與其他基線模型相比，準確率下降幅度較小。在Captioning任務中，使用NoCaps、Flickr-30K和WHOOPS數據集，AIT的性能也顯示出相對穩定或有所提高。

2. AIT對抗多輪對話幻覺的能力

在多輪對話幻覺的情況下，AIT表現出更強的魯棒性。在GQA數據集上的實驗中，隨著預先添加的對話輪次增加，基線模型LLaVA的性能持續下降，而AIT能夠在通用和隨機類型的對話中保持性能，在對抗性案例中顯示出較小的性能下降。這表明AIT能夠有效對抗通過早期對話輪次無意中攻擊LMMs的用戶行為，減少后續對話中的不忠實答案。

圖片

圖片

討論與可視化

1. AIT方法的影響因素分析

Adversarial Instruction Tuning (AIT) 方法是為了減少大型多模態模型 (LMMs) 中的對話幻覺而提出的。對話幻覺是指模型在沒有前置對話時能夠生成忠實于源內容的答案，但在添加了前置對話后卻產生了不忠實的答案。通過對輸入令牌的注意力分析，研究發現對話幻覺主要是由于模型對前置對話的預測偏見，而不是視覺內容。為了緩解這一問題，AIT通過在增強的視覺指令數據集上對LMMs進行魯棒性微調，成功降低了對話幻覺，同時保持或有時甚至提高了視覺問答（VQA）和圖像描述（Captioning）任務的性能。

2. AIT方法的可視化案例

在實驗中，使用了一個名為EvalDial的評估基準來精確衡量LMMs的對話幻覺。EvalDial基于流行的多模態基準數據集構建，為每個測試示例創建了相應的幻覺對話。通過Adversarial Question Generator (AQG) 自動生成與圖像相關但具有對抗性的對話，這些對話在視覺上下文中模擬了用戶與助手的實際交互行為。在EvalDial上，對于VQA任務，最先進的LMMs的零樣本泛化性能下降了高達14.8個百分點，對于Captioning任務下降了48.4個百分點。

圖片

結論與未來展望

1. 論文的主要發現

本研究發現，現有的遵循指令的LMMs容易受到前置用戶-系統對話的幻覺影響。為了精確驗證這種對話幻覺，構建了EvalDial評估基準，并提出了一種新穎的對抗性對話生成器AQG。此外，為了減輕這種幻覺，通過輸入令牌注意力分析深入理解了幻覺發生的原因，并提出了AIT，這是一種魯棒的指令調整方法，它在存在幻覺對話的情況下保持甚至提高了LMMs在VQA和圖像描述性能。

2. 對未來多模態模型研究的啟示

本研究的發現和提出的AIT方法為未來在多模態模型中處理對話幻覺和提高模型魯棒性提供了新的視角。通過對話令牌注意力比率（DTAR）的分析，研究揭示了模型在預測時過度依賴前置對話的傾向。AIT方法通過在存在幻覺對話的情況下對模型進行魯棒性訓練，減少了這種偏見。未來的研究可以在此基礎上進一步探索如何提高模型對抗性攻擊的魯棒性，以及如何在不犧牲性能的情況下處理更復雜的對話場景。 

本文轉載自 ??AI論文解讀??，作者： 圖南