近日，抱抱臉團隊（HF）發布Idefics2，一個通用的多模態大模型，可以接受任意文本和圖像序列作為輸入，并生成文本響應。它可以回答關于圖像的問題，描述視覺內容，創建基于多個圖像的故事，從文檔中提取信息，并執行基本算術運算。Idefics2改進了Idefics1：具有8B參數、開放許可（Apache 2.0）和增強的OCR（光學字符識別）功能，Idefics2是多模態工作社區的堅實基礎。它在視覺問答基準上的表現居于同類模型的前列，并與LLava-Next-34B和MM1-30B-chat等更大的模型競爭。

訓練數據

Idefics2在預訓練過程中使用了一系列公開可用數據集進行訓練：交錯的網頁文檔（維基百科、OBELICS）、圖像-標題對（公共多模態數據集、LAION-COCO）、OCR數據（PDFA（英文）、IDL和渲染文本）以及圖像到代碼數據（WebSight）。交互式可視化允許探索OBELICS數據集。根據基礎模型社區的通行做法，HF進一步對基礎模型進行了面向任務的訓練。然而，這些數據通常是以不同的格式存在，并分散在各個地方。對于社區來說，收集這些數據是一個障礙。為了解決這個問題，HF發布了一直在準備的多模態指令微調數據集：Cauldron，這是一個開放的、由50個手動策劃的數據集的合集，格式化為多輪對話。HF使用The Cauldron和各種文本微調數據集的串聯來對Idefics2進行了指令微調。

改進

• HF按照NaViT策略處理圖像的原生分辨率（高達980 x 980）和原生寬高比。這樣就避免了將圖像調整為固定大小的正方形的需要，因為這在計算機視覺界一直是歷史性的做法。此外，HF遵循了SPHINX的策略，并（可選地）允許子圖像分割和傳遞非常大分辨率的圖像。
• 通過整合需要模型轉錄圖像或文檔中的文本的數據，顯著增強了OCR功能。我們還通過適當的訓練數據，改進了在圖表、圖形和文檔上回答問題的能力。
• 摒棄了Idefics1的架構（門控交叉關注）并簡化了將視覺特征整合到語言骨干中的過程。圖像被輸入到視覺編碼器中，然后是一個學習的Perceiver池化和一個MLP模態投影。然后將這個池化序列與文本嵌入拼接起來，得到一個（交錯的）圖像和文本序列。

所有這些改進加上更好的預訓練骨干，使性能大幅提高，而模型的大小只增加了10倍。

Idefics2體系結構

開始使用Idefics2

Idefics2可在Hugging Face Hub上獲得，并在最新的transformers版本中受支持。

譯自（有刪改）：https://huggingface.co/blog/idefics2

本文轉載自公眾號AIGC最前線 

原文鏈接：??https://mp.weixin.qq.com/s/Tdwvl5F4mrQddxZUwZLN_w??