在人工智能的浪潮中，多模態(tài)大模型（VLM）正以前所未有的速度改變著我們的世界。從自然語(yǔ)言處理（NLP）到計(jì)算機(jī)視覺(jué)（CV），從大型語(yǔ)言模型（LLM）到檢索增強(qiáng)生成（RAG）和智能體（Agent），AI的邊界不斷被拓展。而今天，我們將聚焦于一個(gè)關(guān)鍵領(lǐng)域——文檔結(jié)構(gòu)化抽取，看看12種頂尖的VLM多模態(tài)大模型，誰(shuí)才是真正的強(qiáng)者！

一、什么是文檔結(jié)構(gòu)化抽取？

在數(shù)字化時(shí)代，文檔無(wú)處不在，從發(fā)票、合同到研究報(bào)告，它們承載著海量的信息。然而，這些信息大多以非結(jié)構(gòu)化的形式存在，難以直接被計(jì)算機(jī)理解和處理。文檔結(jié)構(gòu)化抽取的目標(biāo)就是從這些非結(jié)構(gòu)化的文檔中提取出結(jié)構(gòu)化的數(shù)據(jù)，讓機(jī)器能夠像人類(lèi)一樣理解和分析文檔內(nèi)容。

二、docext的六大能力

為了全面評(píng)估這些多模態(tài)大模型的性能，docext提供了以下六大能力的測(cè)試：

1. 關(guān)鍵信息提取（KIE）

從發(fā)票、合同等文檔中提取名稱(chēng)、日期、金額等關(guān)鍵字段，這是文檔處理的基礎(chǔ)。

2. 視覺(jué)問(wèn)答（VQA）

通過(guò)問(wèn)答的形式評(píng)估模型對(duì)文檔內(nèi)容的理解能力，這不僅考驗(yàn)?zāi)Ｐ偷奈淖掷斫饽芰Γ€考驗(yàn)其視覺(jué)理解能力。

3. 光學(xué)字符識(shí)別（OCR）

衡量模型識(shí)別印刷文本和手寫(xiě)文本的準(zhǔn)確性，這對(duì)于處理各種字體、布局和文檔條件至關(guān)重要。

4. 文檔分類(lèi)

評(píng)估模型對(duì)各種文檔類(lèi)型的分類(lèi)準(zhǔn)確性，這對(duì)于文檔管理和檢索非常關(guān)鍵。

5. 長(zhǎng)文檔處理

測(cè)試模型在長(zhǎng)篇、有豐富上下文的文檔上的推理能力，這對(duì)于處理復(fù)雜的文檔結(jié)構(gòu)至關(guān)重要。

6. 表格提取

基準(zhǔn)測(cè)試從復(fù)雜表格格式中提取結(jié)構(gòu)化數(shù)據(jù)，這對(duì)于數(shù)據(jù)分析和處理非常關(guān)鍵。

三、模型大比拼

方法論

根據(jù)任務(wù)提出不同的問(wèn)題，模型的答案可以是文本或 JSON 格式。對(duì)于 OCR、VQA 和分類(lèi)等任務(wù)，我們期望模型給出純文本答案。對(duì)于 KIE、LongDocBench 和表格提取等任務(wù)，我們期望模型根據(jù)提示中的說(shuō)明返回格式正確的 JSON 格式。

所有數(shù)據(jù)集均附有真實(shí)答案（正確答案）。我們根據(jù)任務(wù)使用不同的準(zhǔn)確率指標(biāo)：

• 對(duì)于KIE、OCR、VQA和LongDocBench，我們使用編輯距離準(zhǔn)確度。
• 對(duì)于分類(lèi)，我們使用精確匹配準(zhǔn)確度。
• 對(duì)于表格提取，我們使用GriTS 度量。

在這場(chǎng)激烈的競(jìng)爭(zhēng)中，12種頂尖的VLM多模態(tài)大模型展開(kāi)了全方位的較量。讓我們來(lái)看看它們的表現(xiàn)：

1. 綜合表現(xiàn)最強(qiáng)：??gemini-2.5-flash-preview-04-17??

在關(guān)鍵信息提取方面，??gemini-2.5-flash-preview-04-17??表現(xiàn)卓越，能夠準(zhǔn)確識(shí)別和提取發(fā)票的名稱(chēng)、日期、金額等結(jié)構(gòu)化數(shù)據(jù)。這使得它在處理復(fù)雜的文檔結(jié)構(gòu)時(shí)游刃有余。

2. 信息抽取能手：gemini-2.5-flash-preview-04-17

在文檔問(wèn)答方面，gemini-2.5-flash-preview-04-17展現(xiàn)了強(qiáng)大的能力。無(wú)論是基于文本的問(wèn)題，還是需要了解文檔視覺(jué)布局和結(jié)構(gòu)的問(wèn)題，它都能給出準(zhǔn)確的答案。

3. OCR能力之星：??gemini-2.0-flash??

在OCR能力方面，??gemini-2.0-flash??表現(xiàn)突出。它能夠識(shí)別包括手寫(xiě)文本、數(shù)字印刷文本和帶變音符號(hào)的文本，處理各種字體、布局和文檔條件，同時(shí)保持高精度的文本識(shí)別。

4. 文檔分類(lèi)高手：??qwen2.5-vl-72b-instruct??

在文檔分類(lèi)方面，??qwen2.5-vl-72b-instruct??表現(xiàn)卓越，能夠以99%以上的準(zhǔn)確率對(duì)文檔進(jìn)行分類(lèi)。這使得它在文檔管理和檢索方面具有巨大的優(yōu)勢(shì)。

5. 長(zhǎng)文檔處理專(zhuān)家：??claude-3.7-sonnet (reasoning:low)??

在長(zhǎng)文檔處理方面，帶有推理能力的??claude-3.7-sonnet (reasoning:low)??表現(xiàn)卓越。它能夠跨多個(gè)頁(yè)面維護(hù)上下文，了解文檔結(jié)構(gòu)，并從大型文檔中準(zhǔn)確檢索信息。

6. 表格提取挑戰(zhàn)者：claude-3.7-sonnet (reasoning:low)

在表格提取方面，??qwen2.5-vl-72b-instruct差點(diǎn)跌出榜單嘍??，但在其他方面卻有著出色的表現(xiàn)。這表明在表格處理方面，仍有很大的提升空間。

四、未來(lái)展望

這場(chǎng)多模態(tài)大模型的較量，不僅展示了當(dāng)前技術(shù)的頂尖水平，也為未來(lái)的發(fā)展指明了方向。隨著技術(shù)的不斷進(jìn)步，我們有理由相信，未來(lái)的多模態(tài)大模型將在文檔結(jié)構(gòu)化抽取領(lǐng)域達(dá)到更高的水平，為我們的工作和生活帶來(lái)更多的便利。

本文轉(zhuǎn)載自??哎呀AIYA??