智源BGE-VL拍照提問即可精準搜，1/70數據擊穿多模態檢索天花板！
BGE系列模型自發布以來廣受社區好評。
近日，智源研究院聯合多所高校開發了多模態向量模型BGE-VL，進一步擴充了原有生態體系。BGE-VL在圖文檢索、組合圖像檢索等主要多模態檢索任務中均取得了最佳效果。
BGE-VL借助大規模合成數據MegaPairs訓練而成。這一設計具備以下兩大核心優勢:
- 優異的可擴展性：MegaPairs 結合多模態表征模型、多模態大模型和大語言模型，在海量圖文語料庫中高效挖掘多模態三元組數據。其算法能夠以極低成本持續生成多樣化且高質量的多模態三元組。本次發布的版本涵蓋 2600 萬條樣本，為多模態檢索模型的訓練提供了大規模、高價值的數據支持。
- 卓越的數據質量：相較于傳統多模態數據，MegaPairs 僅需 1/70 的數據量即可實現更優的訓練效果。利用該合成數據，智源訓練了多模態檢索模型 BGE-VL，顯著提升了多個主流多模態檢索基準的性能。
BGE-VL的技術報告已發布，相關數據、模型及代碼資源將陸續向社區全面開放。
論文地址：https://arxiv.org/abs/2412.14475
項目主頁：https://github.com/VectorSpaceLab/MegaPairs
模型地址：https://huggingface.co/BAAI/BGE-VL-MLLM-S1
研究背景
在大模型時代，信息檢索需要滿足人們日益多樣化的需求，這種需求不僅體現在用戶的多模態查詢輸入上，也體現在對多模態信息的需求上。例如，用戶可能拍攝一張汽車外觀圖，并希望獲取該款汽車的指定信息。
在這種情況下，多模態檢索器需要綜合理解用戶的圖像和文本指令，并從多種模態的信息中檢索出最相關的內容。
然而，現有的多模態檢索模型通?；趩我恍问降目缒B配對數據（如圖像-文本對）進行訓練，這使得它們難以處理復雜的組合模態輸入。
近年來，指令微調技術在文本檢索和大語言模型等領域已經證明了其增強多任務能力的有效性。然而，以往的多模態檢索指令數據集大多依賴人工標注，限制了大規模多樣化數據的獲取。
為解決這一限制，智源BGE團隊創新性地提出了MegaPairs數據合成方法。該方法通過從現有大規模圖像數據集中挖掘多樣的關聯圖像對，并利用開源多模態大模型和大語言模型進行自動化指令生成，從而構建出高質量、可擴展、泛化性強的多模態檢索指令微調數據集。
團隊基于MegaPairs的高質量數據，訓練并開源多模態向量模型BGE-VL系列，實現了當前最佳的多模態檢索能力。
MegaPairs構造
MegaPairs提出從現有大規模圖文語料庫中挖掘并構造大規模、高質量多模態檢索指令數據集。
具體地，MegaPairs的構造主要分為兩個關鍵步驟：
- 使用多種相似度模型從圖像數據集中挖掘多樣的圖像對；
- 使用開源的多模態大模型和大語言模型合成開放域檢索指令。
以下圖為例：
- 首先，MegaPairs會從大規模圖像數據集中采樣一對圖像-文本數據作為查詢數據。
- 然后，利用多種圖像和文本相似度模型，挖掘出多組關聯圖像對（例如：同款汽車的外飾與內飾、同款汽車不同涂裝、同品牌汽車未來概念圖等）。
- 接著，針對這些挖掘出的圖像對，MegaPairs采用兩階段標注方法：首先使用多模態大語言模型（MLLM）總結兩張圖片之間的關聯關系，然后使用大語言模型（LLM）撰寫最終的開放域檢索指令。
值得注意的是，MegaPairs完全基于開源數據集和開源模型進行自動化構建和標注。通過引入多個相似度模型和兩階段標注方法，MegaPairs能夠在無需人工參與的情況下，擴展性地生成大規模、高質量且多樣化的多模態檢索指令數據集。
MegaPairs多模態三元數據構造流程
基于上述流水線，MegaPairs合成了超過2600萬條（查詢圖像, 查詢語句, 目標圖像）三元數據對。
此外，鑒于「難負例」在訓練檢索模型的重要性，MegaPairs對于每組挖掘的圖像對數據都選取了其他相似圖片作為難負例。
BGE-VL模型
基于MegaPairs合成的大規模多模態檢索指令數據集，智源BGE團隊訓練出了3款不同尺寸的多模態檢索模型。包括基于CLIP架構的BGE-VL-Base和BGE-VL-Large，以及基于多模態大模型架構的BGE-VL-MLLM。
團隊發現，僅僅使用MegaPairs三元組數據訓練，模型就在多個任務上實現了遠超以往方法的的領先性能優勢。
綜合多模態嵌入任務性能表現
團隊首先在Massive Multimodal Embedding Benchmark（MMEB）上驗證了BGE-VL模型的性能。
MMEB是一個綜合性基準測試，涵蓋了4大類共計36個不同多模態嵌入評測任務：分類（Classification）、視覺問答（Visual Question Answering）、檢索（Retrieval）和視覺定位（Visual Grounding）。
MMEB評測任務示例圖
在零樣本性能表現方面，BGE-VL在MMEB的多個任務類型和整體評分均實現了最優性能。
更令人興奮的是，MegaPairs并未包含MMEB中的絕大部分任務類型數據（例如Classification、VQA，Grounding），卻能夠實現良好的任務泛化能力。
根據MMEB的設置，團隊進一步在MMEB的分布內（IND）集合（包含36個評測任務中的20個任務）上對BGE-VL進行了有監督微調。
實驗結果顯示，BGE-VL的平均性能指標相比直接在MMEB上微調的VLM2Vec (LLaVA-1.6) 模型高出9.1個百分點。同時，在分布外（OOD）數據集上的平均表現也比兩版VLM2Vec分別高出11.6%和7.1%。這些結果證明了MegaPairs數據的高質量和泛化能力。
組合圖像檢索性能
傳統圖像檢索通常采用「文搜圖」或「圖搜圖」的方式。近年來，組合圖像檢索作為一種新興的圖像搜索范式，允許用戶同時輸入圖像和搜索指令，實現更精準的圖像檢索效果。這一方法被谷歌稱為「下一代圖像搜索范式」。
在當前主流的組合圖像檢索評測集CIRCO上，BGE-VL在不同模型尺寸上均顯著刷新了現有基準。大幅超越包括谷歌的MagicLens系列和英偉達的MM-Embed等對比基線。
具體而言，BGE-VL-MLLM較之前的SOTA模型提升了8.1個百分點。此外，BGE-VL-Base模型以不到1/50的參數量超越了如MM-Embed和E5-V等大模型底座的多模態檢索器。這些實驗結果有力展示了MegaPairs數據的有效性。
團隊還對MegaPairs的可擴展性和數據質量進行了深入研究。
如圖所示，一方面，隨著MegaPairs數據規模的增加，BGE-VL模型表現出一致的性能增長趨勢，證明了MegaPairs數據構造方法的良好可擴展性。
另一方面，與在37M閉源數據上訓練的SOTA模型Google MagicLens相比，MegaPairs僅需1/70的數據規模（0.5M）即可實現顯著的性能優勢，證明了MegaPairs數據的高效性和高質量。
MegaPairs可擴展性分析：使用不同規模的MegaPairs數據訓練BGE-VL-base模型在各評測基準上的性能變化趨勢。虛線表示基于CLIP-base并在37M MagicLens數據集上訓練的MagicLens-B模型的性能。
BGE-VL檢索可視化結果
未來，智源將繼續探索MegaPairs與更豐富的多模態檢索場景結合，進一步打造更全能通用的多模態檢索器。
更多方法和實驗細節請參照論文。
