在數(shù)字化時(shí)代，數(shù)據(jù)作為核心資產(chǎn)，其高效處理與利用成為企業(yè)和組織發(fā)展的關(guān)鍵。然而，大量數(shù)據(jù)以非結(jié)構(gòu)化文本、傳統(tǒng)文檔等形式存在，導(dǎo)致數(shù)據(jù)提取面臨巨大挑戰(zhàn)。人工智能，尤其是大語(yǔ)言模型（LLMs）的爆發(fā)式發(fā)展，為大規(guī)模自動(dòng)化數(shù)據(jù)提取提供了新的可能。它不僅能夠處理海量文檔，還能應(yīng)對(duì)多種格式的數(shù)據(jù)，無(wú)需預(yù)先針對(duì)所有可能的格式進(jìn)行開(kāi)發(fā)，極大地提升了數(shù)據(jù)處理的效率和靈活性。

但在實(shí)際應(yīng)用中，并非所有LLM模型都能達(dá)到預(yù)期效果。不同模型在性能、適用場(chǎng)景等方面存在顯著差異。本文將圍繞數(shù)據(jù)提取這一具體場(chǎng)景，深入探討不同LLM模型的表現(xiàn)，分析影響模型性能的因素，并結(jié)合實(shí)際測(cè)試案例，為讀者呈現(xiàn)一幅全面的LLM模型對(duì)比圖景，旨在為相關(guān)領(lǐng)域的研究和應(yīng)用提供參考。

一、LLM模型發(fā)展現(xiàn)狀與挑戰(zhàn)

（一）模型迭代速度與多樣性

當(dāng)前，LLM領(lǐng)域呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì)，模型更新?lián)Q代速度極快。以GPT系列為例，其主要版本每年發(fā)布多次， minor版本更是每?jī)芍茏笥揖陀懈隆Ｅc此同時(shí)，開(kāi)源社區(qū)如HuggingFace、LlamaHub等也在不斷推動(dòng)模型的進(jìn)化，涌現(xiàn)出大量不同類型、不同規(guī)模的模型。這種快速發(fā)展的局面，為數(shù)據(jù)提取任務(wù)提供了豐富的模型選擇，但也帶來(lái)了巨大的挑戰(zhàn)。

開(kāi)發(fā)團(tuán)隊(duì)若采用簡(jiǎn)單粗暴的方式，選擇運(yùn)行最大、最強(qiáng)大的模型，期望借此獲得最佳結(jié)果，往往會(huì)發(fā)現(xiàn)事與愿違。同樣，花費(fèi)大量時(shí)間對(duì)模型進(jìn)行微調(diào)或優(yōu)化提示詞，雖然可能在一定程度上提升性能，但面對(duì)如此快速的模型迭代，這種方式難以持續(xù)，團(tuán)隊(duì)可能會(huì)陷入不斷更新代碼的困境，否則就有被競(jìng)爭(zhēng)對(duì)手超越的風(fēng)險(xiǎn)。

（二）軟件架構(gòu)的新挑戰(zhàn)

在傳統(tǒng)的軟件開(kāi)發(fā)中，UI開(kāi)發(fā)經(jīng)歷了從將模型、視圖、控件等混合編碼到分層抽象的過(guò)程，從而實(shí)現(xiàn)了更好的可維護(hù)性和擴(kuò)展性。而在AI編碼領(lǐng)域，目前的狀況類似于早期的UI開(kāi)發(fā)。像LlamaIndex、LangChain等框架雖然具有一定的模型無(wú)關(guān)性，但開(kāi)發(fā)人員仍然需要將模型和提示詞嵌入到代碼中，缺乏清晰的分層結(jié)構(gòu)。

DSPy等框架試圖通過(guò)模塊化方法，將業(yè)務(wù)邏輯、提示詞和AI代理分離，以應(yīng)對(duì)這一挑戰(zhàn)。然而，盡管LLMs為數(shù)據(jù)處理自動(dòng)化打開(kāi)了新的大門(mén)，但也催生了一種新型的軟件架構(gòu)。在這種架構(gòu)下，如何確保當(dāng)前構(gòu)建的系統(tǒng)在一年后仍能保持更新，目前還缺乏成熟的理解和方法。這意味著開(kāi)發(fā)團(tuán)隊(duì)需要探索新的架構(gòu)模式，以適應(yīng)LLM模型快速變化的特點(diǎn)。

二、數(shù)據(jù)提取場(chǎng)景下的模型對(duì)比測(cè)試設(shè)計(jì)

（一）測(cè)試目標(biāo)與場(chǎng)景

為了真實(shí)評(píng)估LLM模型在數(shù)據(jù)提取任務(wù)中的性能，本次測(cè)試選擇了一個(gè)具有代表性的場(chǎng)景：讀取簡(jiǎn)歷并回答關(guān)于候選人的問(wèn)題，同時(shí)以明確的格式返回答案。這一場(chǎng)景要求模型具備多方面的能力，包括理解人類設(shè)計(jì)的文檔結(jié)構(gòu)、把握文檔的語(yǔ)義內(nèi)容、能夠根據(jù)從簡(jiǎn)歷中“讀取”的信息回答特定問(wèn)題，以及構(gòu)建符合嚴(yán)格模式的輸出。通過(guò)這一測(cè)試，可以全面考察模型在實(shí)際應(yīng)用中的表現(xiàn)。

（二）測(cè)試框架與工具

本次測(cè)試采用LlamaIndex作為調(diào)用模型的框架，利用Ollama在本地運(yùn)行模型，確保測(cè)試環(huán)境的可控性和穩(wěn)定性。同時(shí)，使用Pydantic定義輸出格式，明確數(shù)據(jù)提取的結(jié)構(gòu)和要求，便于對(duì)模型的輸出進(jìn)行驗(yàn)證和評(píng)估。

（三）模型組合與測(cè)試方法

測(cè)試中選取了3種嵌入模型和13種LLM模型進(jìn)行組合測(cè)試。由于語(yǔ)言系統(tǒng)具有統(tǒng)計(jì)特性，模型結(jié)果會(huì)存在波動(dòng)，因此每種嵌入模型和LLM模型的組合運(yùn)行10次，通過(guò)計(jì)算平均值和總分來(lái)衡量模型的準(zhǔn)確性和一致性。

在評(píng)分方面，制定了明確的規(guī)則：當(dāng)系統(tǒng)能夠準(zhǔn)確從簡(jiǎn)歷中提取信息時(shí)加分；若無(wú)法提取姓名等必填信息，或錯(cuò)誤提取技能、將雇主誤判為職位等情況，則進(jìn)行扣分；如果LLM生成的輸出無(wú)法映射到Pydantic模式，導(dǎo)致無(wú)法通過(guò)程序驗(yàn)證，則視為失敗。這種評(píng)分方式能夠全面、客觀地反映模型的性能。

（四）數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

為了使測(cè)試結(jié)果具有結(jié)構(gòu)化，同時(shí)又不過(guò)于僵化，定義了ResumeData和WorkExperience等Pydantic模型。這些模型允許大多數(shù)字段為null，或接受字符串列表或字典等開(kāi)放結(jié)構(gòu)，給予LLMs足夠的靈活性。在實(shí)際處理中，即使許多LLMs返回格式不佳的JSON，也會(huì)先檢查常見(jiàn)錯(cuò)誤并進(jìn)行糾正，然后再進(jìn)行解析。此外，模型中包含至少一個(gè)嵌套字段，以模擬現(xiàn)實(shí)場(chǎng)景中復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，更真實(shí)地測(cè)試模型的處理能力。

三、測(cè)試結(jié)果與分析

（一）整體表現(xiàn)與嵌入模型的影響

從整體測(cè)試結(jié)果來(lái)看，大多數(shù)模型在使用BAAI/bge-base-en-v1.5嵌入數(shù)據(jù)時(shí)表現(xiàn)更佳。該嵌入模型不僅帶來(lái)了最佳的平均得分和總分，還使失敗次數(shù)最少。這表明嵌入模型在擴(kuò)展LLM知識(shí)方面起著至關(guān)重要的作用，其性能直接影響LLM在數(shù)據(jù)提取任務(wù)中的表現(xiàn)。不同的嵌入模型與LLM模型之間的交互存在差異，選擇合適的嵌入模型是提升整體性能的關(guān)鍵因素之一。

（二）小模型的逆襲：Qwen3與Gemma3

在測(cè)試中，令人意外的是，具有40億參數(shù)的Qwen3和Gemma3模型，其表現(xiàn)竟然超過(guò)了擁有706億參數(shù)的Llama3.3模型。這兩個(gè)模型是從更大的模型中提煉而來(lái)，并且具備混合語(yǔ)言和推理模式。這種模式使它們能夠分析提示詞，制定回答策略，并檢查結(jié)果，從而在更復(fù)雜的推理和提取任務(wù)中表現(xiàn)出色。

進(jìn)一步對(duì)Qwen系列模型進(jìn)行測(cè)試發(fā)現(xiàn)，在本次挑戰(zhàn)中，參數(shù)規(guī)模存在一個(gè)拐點(diǎn)，即40億參數(shù)。小于40億參數(shù)的模型表現(xiàn)較差，而超過(guò)40億參數(shù)的模型雖然運(yùn)行速度變慢，但結(jié)果并未得到改善。這一發(fā)現(xiàn)打破了“模型越大，性能越好”的固有觀念，表明在特定任務(wù)中，模型的結(jié)構(gòu)和設(shè)計(jì)比單純的參數(shù)規(guī)模更為重要。

（三）模型間交互的復(fù)雜性

Gemma3與BAAI/bge-base-en-v1.5嵌入模型搭配時(shí)，是得分最高的組合之一。然而，當(dāng)將嵌入模型切換為nomic-embed-text時(shí)，Gemma3甚至無(wú)法生成合法的JSON結(jié)果。這一現(xiàn)象揭示了即使在簡(jiǎn)單的RAG設(shè)置中，模型之間的交互也可能產(chǎn)生意想不到的結(jié)果。不同模型對(duì)不同的嵌入方式敏感，這種復(fù)雜性使得在實(shí)際應(yīng)用中，僅僅優(yōu)化單個(gè)模型是不夠的，還需要充分考慮模型之間的兼容性和協(xié)同效應(yīng)。

四、影響LLM模型性能的關(guān)鍵因素

（一）嵌入模型的選擇

嵌入模型負(fù)責(zé)將人類文本轉(zhuǎn)換為L(zhǎng)LM能夠處理的向量形式，其質(zhì)量直接影響LLM對(duì)新信息的理解和利用。一個(gè)優(yōu)秀的嵌入模型能夠準(zhǔn)確捕捉文本的語(yǔ)義特征，使LLM能夠更有效地檢索和利用相關(guān)信息。在數(shù)據(jù)提取任務(wù)中，合適的嵌入模型可以提高信息檢索的準(zhǔn)確性和效率，從而提升整體性能。因此，在實(shí)際應(yīng)用中，應(yīng)根據(jù)具體的任務(wù)需求和數(shù)據(jù)特點(diǎn)，精心選擇嵌入模型。

（二）模型參數(shù)規(guī)模與結(jié)構(gòu)

雖然傳統(tǒng)觀念認(rèn)為模型參數(shù)規(guī)模越大，性能越好，但本次測(cè)試表明，在特定任務(wù)中，參數(shù)規(guī)模并非唯一的決定因素。Qwen3和Gemma3等小模型通過(guò)合理的結(jié)構(gòu)設(shè)計(jì)，如混合語(yǔ)言和推理模式，能夠在復(fù)雜任務(wù)中超越大模型。這說(shuō)明模型的結(jié)構(gòu)設(shè)計(jì)，如是否具備分析提示、策略制定和結(jié)果檢查等功能，對(duì)性能有著重要影響。在選擇模型時(shí)，需要綜合考慮參數(shù)規(guī)模和模型結(jié)構(gòu)，根據(jù)任務(wù)的復(fù)雜度和需求，選擇最適合的模型。

（三）模型間的協(xié)同效應(yīng)

模型之間的交互是一個(gè)復(fù)雜的過(guò)程，不同模型的組合可能產(chǎn)生不同的效果。在RAG架構(gòu)中，LLM和嵌入模型之間的協(xié)同工作至關(guān)重要。本次測(cè)試中Gemma3在不同嵌入模型下的表現(xiàn)差異，充分說(shuō)明了這一點(diǎn)。在實(shí)際應(yīng)用中，需要對(duì)模型組合進(jìn)行充分的測(cè)試和優(yōu)化，以發(fā)現(xiàn)最佳的協(xié)同方式。此外，隨著代理系統(tǒng)的發(fā)展，未來(lái)的系統(tǒng)可能包含多個(gè)AI和模型，它們之間的交互將更加復(fù)雜，因此如何實(shí)現(xiàn)模型間的良好協(xié)同，是需要解決的關(guān)鍵問(wèn)題之一。

五、對(duì)軟件架構(gòu)的啟示

（一）傳統(tǒng)模塊化模式的局限性

在傳統(tǒng)的軟件開(kāi)發(fā)中，模塊化模式通過(guò)將問(wèn)題分解為簡(jiǎn)單、獨(dú)立的組件，實(shí)現(xiàn)了系統(tǒng)的穩(wěn)定性、可擴(kuò)展性和安全性。然而，在基于代理的系統(tǒng)中，復(fù)雜性從傳統(tǒng)的設(shè)計(jì)模式轉(zhuǎn)移到了黑箱AI模型中。傳統(tǒng)的模塊化模式難以適應(yīng)這種新的復(fù)雜性，因?yàn)锳I模型的內(nèi)部工作機(jī)制難以理解和預(yù)測(cè)，模型之間的交互也存在不確定性。

（二）新架構(gòu)模式的探索

面對(duì)LLM模型帶來(lái)的新挑戰(zhàn)，軟件架構(gòu)需要發(fā)展新的模式和方法。未來(lái)的架構(gòu)將更少地關(guān)注數(shù)據(jù)交換和格式設(shè)計(jì)，而更多地關(guān)注AI交互點(diǎn)，這些交互點(diǎn)將成為新的API。開(kāi)發(fā)團(tuán)隊(duì)需要探索如何管理多個(gè)模型和AI代理之間的交互，確保系統(tǒng)的可靠性和安全性。

在構(gòu)建基于LLM的系統(tǒng)時(shí)，可以借鑒傳統(tǒng)軟件開(kāi)發(fā)中的分層思想，將業(yè)務(wù)邏輯、模型管理、提示詞優(yōu)化等模塊分離，提高系統(tǒng)的可維護(hù)性。同時(shí)，需要建立有效的模型評(píng)估和監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)模型性能的變化，并進(jìn)行調(diào)整和優(yōu)化。此外，還需要研究如何實(shí)現(xiàn)模型的動(dòng)態(tài)替換和升級(jí)，以適應(yīng)快速發(fā)展的LLM技術(shù)。

六、結(jié)論與展望

（一）結(jié)論總結(jié)

本次對(duì)比測(cè)試深入探討了不同LLM模型在數(shù)據(jù)提取任務(wù)中的表現(xiàn)，得出了以下重要結(jié)論：

1. 嵌入模型對(duì)LLM的性能有著顯著影響，選擇合適的嵌入模型是提升數(shù)據(jù)提取效果的關(guān)鍵。
2. 模型參數(shù)規(guī)模并非決定性能的唯一因素，小模型通過(guò)合理的結(jié)構(gòu)設(shè)計(jì)，能夠在特定任務(wù)中超越大模型。
3. 模型之間的交互復(fù)雜且難以預(yù)測(cè)，即使在簡(jiǎn)單的架構(gòu)中，不同模型組合也可能產(chǎn)生巨大的性能差異。
4. 基于代理的系統(tǒng)帶來(lái)了新的軟件架構(gòu)挑戰(zhàn)，傳統(tǒng)模塊化模式需要更新，以適應(yīng)AI模型的動(dòng)態(tài)性和復(fù)雜性。

（二）未來(lái)研究方向

隨著LLM技術(shù)的不斷發(fā)展，未來(lái)在數(shù)據(jù)提取領(lǐng)域還有許多值得研究的方向：

1. 進(jìn)一步探索模型組合的優(yōu)化方法，研究如何通過(guò)自動(dòng)調(diào)優(yōu)技術(shù)，快速找到最佳的LLM和嵌入模型組合。
2. 開(kāi)發(fā)更高效的模型評(píng)估指標(biāo)，不僅關(guān)注準(zhǔn)確性，還應(yīng)考慮模型的運(yùn)行效率、可解釋性等因素。
3. 研究如何將領(lǐng)域知識(shí)融入LLM模型，提高模型在特定行業(yè)數(shù)據(jù)提取任務(wù)中的性能。
4. 探索新型的軟件架構(gòu)模式，如基于微服務(wù)的AI代理架構(gòu)，以實(shí)現(xiàn)系統(tǒng)的靈活擴(kuò)展和動(dòng)態(tài)管理。

（三）對(duì)實(shí)際應(yīng)用的建議

對(duì)于企業(yè)和組織在實(shí)際應(yīng)用中選擇和使用LLM模型進(jìn)行數(shù)據(jù)提取，提出以下建議：

1. 不要盲目追求大模型，應(yīng)根據(jù)具體的任務(wù)需求和數(shù)據(jù)特點(diǎn)，選擇合適規(guī)模和結(jié)構(gòu)的模型。
2. 重視嵌入模型的選擇和優(yōu)化，通過(guò)實(shí)驗(yàn)比較不同嵌入模型的效果，找到與LLM模型最匹配的組合。
3. 建立模型測(cè)試和驗(yàn)證機(jī)制，在部署模型之前，進(jìn)行充分的測(cè)試，評(píng)估模型在實(shí)際數(shù)據(jù)中的表現(xiàn)。
4. 關(guān)注軟件架構(gòu)的適應(yīng)性，采用模塊化、分層的設(shè)計(jì)思想，便于模型的更新和維護(hù)。

LLM模型為數(shù)據(jù)提取帶來(lái)了革命性的機(jī)遇，但同時(shí)也帶來(lái)了諸多挑戰(zhàn)。通過(guò)深入的對(duì)比分析和持續(xù)的研究探索，我們能夠更好地利用LLM技術(shù)，提升數(shù)據(jù)處理的效率和質(zhì)量，為數(shù)字化時(shí)代的發(fā)展提供有力支持。

code:https://github.com/lucasmcgregor/medium__llm_comparison