CLIP、DINO、SAM 基座的重磅問世，推動了各個領域的任務大一統(tǒng)，也促進了多模態(tài)大模型的蓬勃發(fā)展。

然而，這些經(jīng)過圖像級監(jiān)督或弱語義訓練的基座，并不是處理細粒度密集預測任務的最佳選擇，尤其在理解包含密集文字的文檔圖像上。

為解決這一限制，上交聯(lián)合美團實現(xiàn)了圖文對齊粒度的新突破，其具備三大核心優(yōu)勢：

• 構(gòu)建業(yè)內(nèi)首個 token 級圖文數(shù)據(jù)集 TokenIT：該數(shù)據(jù)集包含 2000 萬條公開圖像以及 18 億高質(zhì)量的 Token-Mask 對。圖像中的每個 BPE 子詞均對應一個像素級掩碼。數(shù)據(jù)體量是 CLIP 的 5 倍，且比 SAM 多出 7 億數(shù)據(jù)對。
• 構(gòu)建圖文領域首個細粒度大一統(tǒng)基座 TokenFD：僅需通過簡單的一層語言編碼，依托億級的 BPE-Mask 對打造出細粒度基座 TokenFD。真正實現(xiàn)了圖像 Token 與語言 Token 在同一特征空間中的共享，從而支持 Token 級的圖文交互和各種下游任務。
• TokenVL 打通模態(tài) GAP：進一步開放圖像即文本的語義潛力，首次實現(xiàn)在大語言模型中進行 token 級的模態(tài)對齊，賦能密集型的多模態(tài)文檔理解任務。

論文和 demo 已發(fā)布，相關數(shù)據(jù)、模型及代碼資源將陸續(xù)向社區(qū)全面開放。

• 項目主頁：https://token-family.github.io/project_page/
• 體驗地址：https://huggingface.co/spaces/TongkunGuan/Token-level_Text_Image_Foundation_Model
• GitHub：https://github.com/Token-family/TokenFD
• 論文地址: https://arxiv.org/pdf/2503.02304

首個 Token 級圖文數(shù)據(jù)集 TokenIT

據(jù)不完全統(tǒng)計，大約 30% 至 40% 的互聯(lián)網(wǎng)圖像包含可識別的文字，而這一比例在社交媒體平臺上更為顯著。

如何有效利用這些數(shù)據(jù)來增強行業(yè)基礎 AI 生態(tài)的發(fā)展，一直是研究者們持續(xù)探索的方向。然而，目前真實場景數(shù)據(jù)中的文字標簽多為單詞級或行級，這與大語言模型所采用的 BPE token 編碼規(guī)則不完全兼容。

此類數(shù)據(jù)集的不足，不僅限制了視覺基礎模型在細粒度視覺感知方面的表現(xiàn)，也影響了多模態(tài)大語言模型在視覺與語言模態(tài)間的對齊能力。

為了解決這一限制，他們采用自研的 token 級的視覺語言分詞打標技術，提出了業(yè)內(nèi)首個 token 級別的圖像文本數(shù)據(jù)集，填補了這一領域的數(shù)據(jù)空白，其亮點包括：

規(guī)模與多樣性

• 包含 2000 萬張圖像與 18 億 Token-Mask 對，覆蓋自然場景、文檔、圖表、代碼截圖、圖形用戶界面等全場景文本圖像類型。
• 數(shù)據(jù)量遠超 CLIP（5 倍）、SAM（多 7 億），提供更豐富的語義信息。

細粒度對齊

• 首創(chuàng) BPE 分詞 + 像素級掩碼標注：將文本分割為 BPE 子詞（如「un-」、「-able」），每個子詞（token）精確對應圖像中的局部區(qū)域。
• 支持「圖像即文字」的語義映射，為多模態(tài)大模型理解字符、公式、表格等復雜結(jié)構(gòu)奠定基礎。

首個細粒度基座 TokenFD

先前的視覺基座模型（如 CLIP、DINO）依賴圖像級監(jiān)督，難以捕捉文檔、表格等場景中的密集小文本語義，導致下游任務（如 OCR、視覺問答）性能受限。

SAM 具備像素級的分割能力，其受限的語義表示限制了其在文本圖像場景的全生態(tài)應用。依托自主研發(fā)的數(shù)億級 BPE-Mask 對，他們首次實現(xiàn)了 token 級的視覺和語言模態(tài)對齊，支持細粒度交互，填補了這一技術空白。

在實現(xiàn)上，TokenFD 并不依賴復雜的語言編碼器，而是通過簡化的 token embedding layer，將視覺編碼器提取的視覺特征映射到語言編碼空間。

對于 token 級的視覺和語言特征，正樣本對確保數(shù)值與方向相似，而負樣本對則相反。在百億級 token-mask 數(shù)據(jù)的顯式監(jiān)督下，TokenFD 真正實現(xiàn)了「圖像即文字」，其亮點包括：

支持多任務

• 文本分割（Zero-Shot 性能提升 18.78%）
• 文本理解（Zero-Shot 性能提升 1.48%）
• 文本檢索（Zero-Shot 性能提升 50.33%）
• 未來盼望他們支持可控文本生成/擦除等更多任務

推動 MLLM 發(fā)展

• 賦能多模態(tài)大模型（例如 TokenVL）細粒度文字感知能力，顯著提升 OCR、文檔解析等任務表現(xiàn)。

商業(yè)化應用

• 圖像安全審查
• 基于文字的圖像檢索（適用于搜索引擎、電商平臺、社交平臺）
• 知識檢索增強的大模型

據(jù)了解，demo 已在 Hugging Face 上線，歡迎體驗。它突破了傳統(tǒng)基于文字識別的圖文檢索方式，通過特征空間直接進行相似度匹配，支持任意文字輸入進行圖像內(nèi)容查找。

文檔理解多模態(tài)大模型 TokenVL

通用視覺基礎模型在多模態(tài)大語言模型中作為圖像編碼器被廣泛應用，推動了圖像理解能力的快速發(fā)展。

然而，現(xiàn)有的視覺模型在涉及圖像中細粒度文本（如密集小文本）的下游任務中仍面臨顯著挑戰(zhàn)，例如文本感知、理解與推理的準確性不足。

這一問題的根源在于當前基座模型缺乏針對文本密集場景的細粒度語義監(jiān)督，導致在文檔理解、圖文問答等實際場景中頻繁出現(xiàn)預測偏差。

因此作者們系統(tǒng)性地探索了 TokenFD 作為基座模型在通用文檔智能領域的潛力。

• 基座適配度百分百

無需額外訓練，TokenFD 可直接替換其他多模態(tài)大模型的基座，各項評估基準都得到了提升。

• 文檔理解多模態(tài)大模型對齊新范式

基于 TokenFD 作為視覺基礎模型，作者們進一步推出了 TokenVL，一種全新的多模態(tài)大模型圖文對齊預訓練范式。

通過利用 TokenIT 作為預訓練數(shù)據(jù)，創(chuàng)新性地通過索引方法提取大語言模型（LLM）中的語言 token，并將其與圖像特征圖中對應的圖像 token 直接匹配，在此過程中引入約束函數(shù)以實現(xiàn)精準對齊。

這一方法允許 LLM 在回答問題時能夠更直接地參考圖像內(nèi)容，而不僅僅依賴于其強大的語義上下文理解能力，尤其在理解答案的空間位置時更具優(yōu)勢。在多個 UDV 數(shù)據(jù)集上進行了評測，結(jié)果顯示出卓越的性能和令人滿意的效果。

更多方法和實驗細節(jié)請參照論文。