論文題目： 

VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models 

論文鏈接：

https://arxiv.org/pdf/2309.16211.pdf

論文代碼：

https://github.com/zihao-ai/vdc

論文網(wǎng)站：

https://versatile-data-cleanser.github.io

一、 背景介紹

以數(shù)據(jù)為中心的人工智能（DCAI）這一新興領(lǐng)域強調(diào)了數(shù)據(jù)在構(gòu)建AI系統(tǒng)的過程中扮演著至關(guān)重要的角色。然而，現(xiàn)實世界中的數(shù)據(jù)處理面臨著諸多挑戰(zhàn)，尤其是在數(shù)據(jù)質(zhì)量和可靠性方面。數(shù)據(jù)集中可能存在被惡意篡改的樣本，例如通過后門攻擊植入的有毒樣本、眾包標注中產(chǎn)生的噪聲標簽，甚至這兩類的混合體（不同類型的臟樣本示例如下圖所示）。這些“臟樣本”的存在使得模型變得脆弱且不可靠，嚴重影響了模型的性能和安全性。

在此背景下，檢測并清除數(shù)據(jù)集中的臟樣本成為了提升數(shù)據(jù)集質(zhì)量和可靠性的關(guān)鍵步驟。盡管已有研究提出了針對噪聲標簽或有毒樣本的檢測方法，但這些方法在泛化能力上往往存在局限，特別是在處理來自不同領(lǐng)域的臟樣本時。例如檢測噪聲標簽的方法往往不能檢測到有毒樣本，反之亦然。

發(fā)表于ICLR2024的《VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models》這篇工作提出了一種創(chuàng)新的解決方案。作者發(fā)現(xiàn)，不同類型的臟樣本之間存在一個共同點，即圖像內(nèi)容與其關(guān)聯(lián)標簽之間的視覺-語言語義不一致性?；谶@一發(fā)現(xiàn)，研究者們提出了一種通用的數(shù)據(jù)清洗框架——Versatile Data Cleanser（VDC），旨在通過利用多模態(tài)大模型在跨模態(tài)對齊和理解方面的能力來捕捉語義不一致性，從而準確的檢測出數(shù)據(jù)集中存在的臟樣本。

二、 方法介紹

2.1 視覺語言不一致性

本文的核心理念是識別和利用圖像內(nèi)容與其關(guān)聯(lián)標簽之間的視覺-語言不一致性（visual-linguistic inconsistency）。這種不一致性通常表現(xiàn)為圖像的視覺特征與文字描述的標簽之間存在語義上的不匹配。例如，一張標記為“airplane”的圖片實際上顯示的是一輛“car”，即使圖片中被添加了投毒噪聲（如下圖所示）。鑒于多模態(tài)大模型的迅速發(fā)展，其具有強大的跨模態(tài)理解和推理能力，因此作者提出利用多模態(tài)大模型（MLLM）來捕獲這種不一致性，提出了基于MLLM的通用數(shù)據(jù)清洗器Versatile Data Cleanser (VDC)。

2.2 Versatile Data Cleanser (VDC) 框架

VDC框架由以下三個主要模塊組成（如下圖所示）：

• 視覺問題生成 (Visual Question Generation, VQG) 模塊： 該模塊基于圖像和關(guān)聯(lián)標簽生成一系列有洞察力的問題。這些問題旨在從圖像中提取深層次的語義信息，包括一般性問題和標簽特定問題。
• 視覺回答 (Visual Question Answering, VQA) 模塊： 該模塊利用MLLM來回答VQG模塊生成的問題，從而獲取圖像內(nèi)容的語義信息。通過這種方式，VDC能夠理解圖像的實際內(nèi)容，并將其與標簽進行比較。
• 視覺答案評估 (Visual Answer Evaluation, VAE) 模塊： 該模塊評估MLLM提供的答案與預期答案之間的匹配程度，從而判斷圖像內(nèi)容與標簽之間的一致性。如果答案的匹配程度低于某個閾值，則該樣本可能被認為是臟樣本。

2.3 視覺問題生成 (Visual Question Generation, VQG) 模塊

VQG模塊是VDC框架的第一步，它負責生成與給定標簽相關(guān)的問題。這些問題設(shè)計用來揭示圖像內(nèi)容和標簽之間的潛在不一致性，為后續(xù)的問題回答和答案評估模塊提供基礎(chǔ)。包括一般性問題和標簽特定問題兩類問題。

一般性問題 (General Questions)

VQG模塊首先生成一些一般性問題，這些問題旨在從全局角度獲取圖像的整體語義理解。例如，對于一張圖像，一般性問題可能包括“請簡要描述這張圖片”或“這張圖片的主要元素是什么”。這些問題不依賴于特定的標簽信息，而是旨在從圖像中提取普遍的視覺特征。對于一般性問題，VQG模塊可以利用預定義的問題模板來生成。這些模板是固定的，可以適用于各種不同的圖像和標簽。

標簽特定問題 (Label-specific Questions)

除了一般性問題之外，VQG模塊還會根據(jù)圖像的關(guān)聯(lián)標簽生成一系列標簽特定問題。這些問題更加細致和具體，旨在深入挖掘圖像中與標簽直接相關(guān)的特征和屬性。例如，如果圖像的標簽是“飛機”，那么一個標簽特定問題可能是“圖像中的物體是否設(shè)計用來在空中飛行？”這類問題需要結(jié)合圖像的視覺內(nèi)容和標簽的語義信息來生成。對于標簽特定問題，VQG模塊利用LLM來自動生成問題。通過精心設(shè)計的提示（prompt），模型能夠根據(jù)標簽的語義內(nèi)容生成相關(guān)的問題。這種方法的優(yōu)勢在于它能夠自動適應大量的標簽，而不需要人工為每個標簽單獨設(shè)計問題。

2.4 視覺問答 (Visual Question Answering, VQA) 模塊

視覺問答（VQA）模塊是VDC框架中負責獲取圖像語義信息的關(guān)鍵部分，它通過多模態(tài)大模型（MLLM）來回答由視覺問題生成（VQG）模塊提出的關(guān)于圖像的各種視覺問題。VQA模塊首先接收來自VQG的圖像和問題，然后利用MLLM的能力，結(jié)合圖像的視覺特征和問題的文本信息，生成詳細且準確的回答，以便后續(xù)的視覺答案評估（VAE）模塊能夠有效地評估圖像和標簽之間的一致性，從而識別出潛在的數(shù)據(jù)集中的臟樣本。VQA模塊的性能對于整個VDC框架至關(guān)重要，因為它直接影響到數(shù)據(jù)清洗的準確性和AI模型的可靠性。

2.5 視覺答案評估 (Visual Answer Evaluation, VAE) 模塊

視覺答案評估（VAE）模塊是VDC框架中負責評估由視覺問題回答（VQA）模塊生成的答案與預期答案之間一致性的組件。該模塊的目標是通過評估答案的準確性來檢測圖像和其關(guān)聯(lián)標簽之間的視覺-語言不一致性，從而判斷樣本是否為臟樣本。VAE模塊接收VQA模塊提供的答案以及VQG模塊生成的問題的預期答案。

對于每個問題-答案對，VAE模塊評估MLLM生成的答案是否與預期答案一致。對于標簽特定的問題，這通常涉及到字符串匹配或模式識別，以確定答案是否符合預期。對于一般性問題，答案可能不是簡單的“是”或“否”，而是需要更復雜的語義理解。在這種情況下，VAE模塊可能使用專門的評估技術(shù)或額外的MLLM來確定答案的相關(guān)性和準確性。VAE模塊根據(jù)所有問題-答案對的得分計算一個總體匹配得分。如果這個得分低于預設(shè)的閾值，則認為樣本可能包含錯誤或不一致性，從而將其標記為臟樣本。

三、 實驗驗證

3.1 實驗設(shè)置

實驗在多個公認的基準數(shù)據(jù)集上進行，包括CIFAR-10、ImageNet-100和ImageNet-Dog等。這些數(shù)據(jù)集廣泛用于圖像識別和分類任務，且具有不同的復雜性和多樣性，從而確保了實驗結(jié)果的廣泛適用性。

3.2 臟樣本生成

為了模擬現(xiàn)實世界中的數(shù)據(jù)污染情況，作者采用了多種方法生成臟樣本，包括后門攻擊生成投毒樣本（如BadNets、Blended、SIG、TrojanNN、SSBA和WaNet）和噪聲標簽模型生成噪聲樣本（對稱和非對稱噪聲）。這些臟樣本被引入到數(shù)據(jù)集中，以測試VDC框架的檢測能力。實驗采用的投毒樣本示例如下所示。

3.3 實驗結(jié)果

實驗結(jié)果顯示，VDC框架在各種類型的臟樣本檢測上均表現(xiàn)出色。無論是面對可見的觸發(fā)器攻擊還是隱蔽的后門攻擊，VDC都能保持高TPR，同時維持低FPR，顯示出良好的泛化能力和魯棒性。此外，VDC在處理不同類別和數(shù)量的臟樣本時，其性能幾乎沒有波動，這表明了其對不同數(shù)據(jù)集噪聲的適應性（更多結(jié)果請查看原文）。

四、 總結(jié)與展望

本文提出一種基于多模態(tài)大模型的通用數(shù)據(jù)清洗器，旨在通過檢測和清除數(shù)據(jù)集中的視覺-語言不一致性來提升數(shù)據(jù)質(zhì)量和AI模型的可靠性。該框架通過視覺問題生成、視覺問答和視覺答案評估三個模塊，有效地識別并處理了包括有毒樣本和噪聲標簽在內(nèi)的臟樣本。在多個基準數(shù)據(jù)集上的實驗驗證了VDC的高效性和泛化能力，展示了其在DCAI領(lǐng)域的重要應用潛力。隨著大模型技術(shù)的不斷發(fā)展，VDC框架有望在未來的數(shù)據(jù)清洗和質(zhì)量提升工作中發(fā)揮更大的作用，為構(gòu)建更加智能和可靠的AI系統(tǒng)提供堅實的數(shù)據(jù)基礎(chǔ)。

Illustration From IconScout By IconScout Store

本文轉(zhuǎn)載自??將門創(chuàng)投??，作者：朱梓豪 ????