2025 年 AI 與數(shù)據(jù)工程領(lǐng)域十大趨勢前瞻原創(chuàng)

發(fā)布于 2025-1-10 11:18

瀏覽

0收藏

編者按： 在這篇文章中，作者從行業(yè)趨勢剖析的視角指出：當(dāng)前 AI 領(lǐng)域正處于一個轉(zhuǎn)折點，其發(fā)展雖然不如預(yù)期迅猛，但正在朝著更加務(wù)實和可持續(xù)的方向演進。
文章深入探討了 AI 和數(shù)據(jù)工程領(lǐng)域的十大關(guān)鍵趨勢：從 AI 推理能力的局限性，到流程重于工具的重要性；從 AI 投資回報率的現(xiàn)狀，到 AI 普及速度低于預(yù)期但領(lǐng)導(dǎo)者在靜待時機；從小模型和專有模型之爭，到分析師和工程師角色的融合；從合成數(shù)據(jù)的機遇與挑戰(zhàn)，到非結(jié)構(gòu)化數(shù)據(jù)技術(shù)棧的崛起；從 Agentic AI 對話雖表現(xiàn)出色但部署成問題，到數(shù)據(jù)管道規(guī)模擴大導(dǎo)致的質(zhì)量保障挑戰(zhàn)。
展望 2025 年，AI 技術(shù)的發(fā)展或?qū)⒏幼⒅貙嶋H價值的創(chuàng)造。對于企業(yè)而言，如何在這個轉(zhuǎn)型期找準(zhǔn)定位、把握機遇，將是決定成敗的關(guān)鍵因素。

作者 | Barr Moses

編譯 | 岳揚

2025 年 AI 與數(shù)據(jù)工程領(lǐng)域十大趨勢前瞻-AI.x社區(qū)

Image credit: Monte Carlo

業(yè)內(nèi)專家們曾預(yù)言，2024 年將成為生成式 AI 的里程碑之年。實際應(yīng)用案例不斷涌現(xiàn)，技術(shù)進步使得進入該領(lǐng)域的門檻不斷降低，而通用人工智能似乎也近在咫尺。

那么，這些預(yù)測都實現(xiàn)了嗎？

部分實現(xiàn)了。站在 2024 年的尾聲，其中一些預(yù)測已經(jīng)如火如荼地成為現(xiàn)實。而其他的，尤其是通用人工智能，還需要更多時間來孵化。

以下是著名未來學(xué)家兼投資者 Tomasz Tunguz 對 2024 年底數(shù)據(jù)工程和 AI 領(lǐng)域的看法，以及我個人的幾點預(yù)測。

2025 年的數(shù)據(jù)工程趨勢正迎面而來。

01 我們正處于一個缺乏邏輯推理的世界（Tomasz）

在人工智能敵托邦（AI dystopia）的第三個年頭，我們觀察到企業(yè)開始在預(yù)期的一些領(lǐng)域創(chuàng)造價值 —— 然而，并非全方位的突破。Tomasz 認為，當(dāng)前 AI 可以分為三個主要類別。

預(yù)測：能夠補全句子、修正代碼錯誤等的 AI “copilots”。
搜索：利用大語料庫回答問題的工具。
推理：能夠處理復(fù)雜任務(wù)的多步驟操作流程。

盡管 AI “copilots” 和搜索功能取得了一定的成就（尤其是前者），但推理模型的發(fā)展似乎還跟不上步伐。Tomasz 指出，這其中有一個顯而易見的原因。

那就是模型的準(zhǔn)確性。

Tomasz 解釋說，當(dāng)前的模型很難有效地將任務(wù)分解成不同的步驟，除非它們已經(jīng)多次遇到過相同的模式。而對于這些模型可能承擔(dān)的大部分工作來說，這種情況并不常見。

“目前，如果一個大模型被要求制作一份財務(wù)計劃與分析圖表，它能夠完成。但如果有任何實質(zhì)性的變化 —— 比如，我們從按軟件計費轉(zhuǎn)變?yōu)榘词褂昧坑嬞M，模型就會不知所措。”

因此，目前的情況是，AI copilots 和部分準(zhǔn)確的搜索結(jié)果占據(jù)了上風(fēng)。

02 流程 > 工具（Barr）

新工具的價值，取決于支撐它的流程是否得力。

隨著“現(xiàn)代數(shù)據(jù)技術(shù)棧”的逐年演變，數(shù)據(jù)團隊有時會發(fā)現(xiàn)自己永遠處于一種疲于奔命的狀態(tài)。他們過分關(guān)注平臺能做什么，卻忽略了如何高效使用這些功能這一更為關(guān)鍵的問題。

然而，隨著企業(yè)界逐漸邁向 production-ready AI（譯者注：“production-ready AI” 是指 AI 系統(tǒng)已經(jīng)準(zhǔn)備好在實際業(yè)務(wù)環(huán)境中投入使用，能夠為企業(yè)或用戶提供價值），如何將這些新工具投入使用變得尤為迫切。

以數(shù)據(jù)質(zhì)量為例，2024 年 AI 所需數(shù)據(jù)的地位日益凸顯，數(shù)據(jù)質(zhì)量也隨之成為焦點。面對即將到來的 production-ready AI，企業(yè)數(shù)據(jù)領(lǐng)導(dǎo)者無暇在數(shù)據(jù)質(zhì)量菜單中挑挑揀揀——這里試試 dbt 測試，那里使用點解決方案。他們現(xiàn)在就需要交付價值，迫切需要能夠立即上線并有效部署的可信賴解決方案。

面對臨近的 production-ready AI，企業(yè)數(shù)據(jù)領(lǐng)導(dǎo)者沒有時間在數(shù)據(jù)質(zhì)量菜單中挑三揀四。他們已經(jīng)肩負著交付業(yè)務(wù)價值的重任，急需能夠立即上線并有效部署的可信賴解決方案。

現(xiàn)實情況是，即使你擁有市場上最尖端的數(shù)據(jù)質(zhì)量平臺——最先進的 automations 技術(shù)，最優(yōu)秀的 copilots 系統(tǒng)，最完美的集成（integrations），但如果不能迅速讓企業(yè)運轉(zhuǎn)起來，那么你所擁有的不過是預(yù)算表上的一個細列項目，以及桌面上一個新增的標(biāo)簽頁而已。

在未來一年內(nèi)，我預(yù)計數(shù)據(jù)團隊會更傾向于采用經(jīng)過驗證的端到端解決方案，而不是零散的工具集，以便集中精力應(yīng)對數(shù)據(jù)質(zhì)量所有權(quán)、事件管理以及長期領(lǐng)域賦能等更關(guān)鍵的挑戰(zhàn)。

能夠滿足這些核心需求的解決方案，將在 AI 領(lǐng)域脫穎而出，贏得最終的勝利。

03 AI 正在提升投資回報率 —— 但并非直接增加收入（Tomasz）

與所有數(shù)據(jù)產(chǎn)品一樣，GenAI 的價值體現(xiàn)在降低成本或創(chuàng)造收入兩個方面。

在創(chuàng)造收入方面，可能會涉及到 AI SDRS、數(shù)據(jù)增強設(shè)備或是推薦系統(tǒng)等技術(shù)。Tomasz 指出，這些工具雖然能夠拓寬銷售渠道…… 但這個渠道的質(zhì)量可能并不理想。因此，如果 AI 未能直接增加收入，那么它應(yīng)當(dāng)致力于降低成本 —— 在這一點上，AI 這項新興技術(shù)已經(jīng)有所建樹。

“實際上，沒有多少公司因此而關(guān)閉業(yè)務(wù)。它主要的作用在于降低成本。例如，Klarna 裁減了三分之二的員工。微軟和 ServiceNow 的工程效率提升了50–75%。”

Tomasz 認為，AI 應(yīng)用如果符合以下三個條件之一，就有可能實現(xiàn)成本降低：

工作內(nèi)容重復(fù)性高
勞動力市場面臨挑戰(zhàn)
招聘需求迫切

Tomasz 提到的一個有效利用 AI 創(chuàng)造新收入的例子是 EvenUp —— 這是一家自動化處理需求函的法律公司。像 EvenUp 這樣支持模板化但提供高度定制化服務(wù)的公司，可能會在現(xiàn)有 AI 技術(shù)的幫助下，獲得顯著的效益提升。

04 AI 的普及速度低于預(yù)期 — 但領(lǐng)導(dǎo)者們正在靜待時機（Tomasz）

與去年紛紛提出“AI 戰(zhàn)略”的熱潮相比，如今的領(lǐng)導(dǎo)者們似乎對 AI 技術(shù)有了更為審慎的態(tài)度。

“去年曾出現(xiàn)過一股浪潮，人們?yōu)榱艘欢脼榭於鴩L試推出各種軟件。他們的董事會都在詢問他們的人工智能戰(zhàn)略。但現(xiàn)在，那些早期的嘗試中有很多人已經(jīng)放棄了。”

有些企業(yè)在初步嘗試中并未發(fā)現(xiàn) AI 的價值，而有些則因為技術(shù)本身的迅速發(fā)展而感到力不從心。Tomasz 指出，這是投資 AI 公司面臨的最大挑戰(zhàn)之一。并非 AI 技術(shù)理論上沒有價值，而是企業(yè)尚未掌握如何在實踐中有效利用它。

Tomasz 相信，下一階段的 AI 普及將不同于第一波，因為領(lǐng)導(dǎo)者們將更明確自己的需求，以及如何滿足這些需求。

就像在大幕拉開前的最后一次彩排，團隊們已經(jīng)知道他們在尋找什么，他們已經(jīng)解決了與法律和采購相關(guān)的許多問題 —— 尤其是數(shù)據(jù)丟失和數(shù)據(jù)保護相關(guān)的問題，他們正蓄勢待發(fā)，只等合適的機會出現(xiàn)。

未來的挑戰(zhàn)將是什么？“如何更快地發(fā)掘并實現(xiàn)價值？”

05 Small data 是 AI 的未來（Tomasz）

開源（open source）與托管（managed）之爭是一個老生常談的話題，但當(dāng)涉及到 AI 時，這個問題變得更加復(fù)雜。

在企業(yè)層面，這不僅僅關(guān)乎控制權(quán)或互操作性，盡管這些因素確實存在，但更關(guān)鍵的是運營成本。

Tomasz 認為，最大的 B2C 企業(yè)可能會直接使用現(xiàn)成的模型，而 B2B 企業(yè)則更傾向于開發(fā)自己的專有模型或采用開源模型。

“在 B2B 領(lǐng)域，你會看到整體上更小的模型，以及更多的開源模型。這是因為運行一個小的開源模型成本要低得多。”

但小模型的優(yōu)勢不僅僅在于成本，它們也能提升性能。像 Google 的大模型被設(shè)計用于應(yīng)對各種場景，用戶可以問大模型幾乎任何問題，因此這些模型需要在龐大的數(shù)據(jù)語料庫上進行訓(xùn)練，以提供相關(guān)的回答，比如水球、中國歷史或法式吐司。

然而，模型訓(xùn)練的主題越多，就越容易混淆不同的概念 —— 隨著時間的推移，輸出的錯誤也會越多。

“你可以使用像 llama 2 這樣擁有 80 億參數(shù)的模型，然后用 10,000 張 support tickets（譯者注：“10,000 support tickets” 指的是 10,000 張支持工單，指企業(yè)在客戶服務(wù)或技術(shù)支持過程中記錄的問題或請求。每張工單可能包含客戶遇到的問題、解決方案、溝通記錄等信息。）對其進行微調(diào)，它的表現(xiàn)會顯著提升，”Tomasz 解釋道。

此外，ChatGPT 和其他托管解決方案頻繁面臨法律挑戰(zhàn)，原因是它們的創(chuàng)建者可能并未合法獲得用于訓(xùn)練模型的數(shù)據(jù)。

在許多情況下，這種指控并非空穴來風(fēng)。

除了成本和性能，這一問題可能會對專有模型的長期采用產(chǎn)生影響 —— 尤其是在高度監(jiān)管的行業(yè)，但其具體影響程度仍不確定。

當(dāng)然，專有模型并未坐以待斃，Sam Altman 肯定也不會輕言放棄。

專有模型已經(jīng)在通過大幅降價來刺激需求。像 ChatGPT 這樣的模型已經(jīng)將價格降低了約 50%，并預(yù)計在未來 6 個月內(nèi)再降 50%。這種成本削減可能是 B2C 企業(yè)在 AI 軍備競賽中競爭的關(guān)鍵助力。

06 分析師和數(shù)據(jù)工程師的界限正在模糊（Barr）

在擴展數(shù)據(jù)管道生產(chǎn)時，數(shù)據(jù)團隊通常會面臨兩大挑戰(zhàn)：分析師的技術(shù)經(jīng)驗不足，而數(shù)據(jù)工程師的時間有限。

這似乎是 AI 可以解決的問題。

在我們展望數(shù)據(jù)團隊可能如何發(fā)展時，我認為有兩個主要趨勢可能會在 2025 年推動工程（engineering）和分析（analytical）職責(zé)的整合：

需求增長—— 隨著業(yè)務(wù)領(lǐng)導(dǎo)者對數(shù)據(jù)和 AI 產(chǎn)品的需求不斷增加，數(shù)據(jù)團隊將不得不用更少的資源完成更多的任務(wù)。為了盡量減少瓶頸，領(lǐng)導(dǎo)者自然會授權(quán)原本專業(yè)化的團隊為其數(shù)據(jù)管道及其利益相關(guān)者承擔(dān)更多責(zé)任。
提高自動化水平—— 新需求總是會催生新創(chuàng)新。（在這種情況下，這意味著是 AI 驅(qū)動的數(shù)據(jù)管道。）隨著技術(shù)變得更加自動化，工程師將能夠用更少的資源完成更多工作，而分析師也將能夠獨立處理更多任務(wù)。

這一邏輯很簡單 —— 隨著需求的增長，數(shù)據(jù)管道自動化自然會隨之發(fā)展以滿足需求。隨著自動化技術(shù)的進步，創(chuàng)建和管理這些數(shù)據(jù)管道的門檻將降低。技能差距將縮小，而創(chuàng)造新價值的能力將提升。

向自助式（self-serve） AI 驅(qū)動的數(shù)據(jù)管道管理邁進，意味著每個人工作中最繁瑣的部分將被自動化取代 —— 而他們在這個過程中創(chuàng)造和展示新價值的能力將得到提升。這聽起來會是一個美好的未來。

07 合成數(shù)據(jù)很重要 —— 但它是有代價的（Tomasz）

你可能見過 “蛇吞象 ”的畫面。如果仔細觀察，會發(fā)現(xiàn)它與當(dāng)代 AI 的發(fā)展有著驚人的相似之處。

目前互聯(lián)網(wǎng)上大約有 21–25 萬億個 token（單詞）。當(dāng)前正在使用的 AI 模型已經(jīng)消耗了所有這些數(shù)據(jù)。為了讓 AI 繼續(xù)進步，它需要在一個更大的數(shù)據(jù)語料庫上進行訓(xùn)練。數(shù)據(jù)越多，輸出的上下文就越豐富，準(zhǔn)確性也就越高。

那么，當(dāng) AI 研究人員用完了訓(xùn)練數(shù)據(jù)時，他們會做什么呢？

他們會自己制造數(shù)據(jù)。

隨著訓(xùn)練數(shù)據(jù)變得越來越稀缺，像 OpenAI 這樣的公司認為，合成數(shù)據(jù)將成為未來訓(xùn)練模型的重要組成部分。在過去兩年里，整個行業(yè)已經(jīng)圍繞這一愿景發(fā)展起來 —— 包括像 Tonic 這樣生成合成結(jié)構(gòu)化數(shù)據(jù)的公司，以及 Gretel 這樣為金融和醫(yī)療保健等受監(jiān)管行業(yè)創(chuàng)建合規(guī)數(shù)據(jù)的公司。

但合成數(shù)據(jù)是長期解決方案嗎？可能不是。

合成數(shù)據(jù)的工作原理是利用模型來創(chuàng)建人工數(shù)據(jù)集，這些數(shù)據(jù)集模擬了人們可能在自然環(huán)境中找到的數(shù)據(jù)，然后用這些新數(shù)據(jù)來訓(xùn)練模型。在小范圍內(nèi)，這確實很有意義。但正如俗話所說，“過猶不及”……

你可以將其類比為“上下文營養(yǎng)不良（contextual malnutrition）”。就像食物一樣，如果新鮮的有機數(shù)據(jù)是模型訓(xùn)練中最有營養(yǎng)的，那么從現(xiàn)有數(shù)據(jù)集中提煉出來的數(shù)據(jù)，本質(zhì)上一定比原始數(shù)據(jù)“營養(yǎng)”更少。

加一點人工調(diào)味料是可以的 —— 但如果長期依賴合成訓(xùn)練數(shù)據(jù)，而沒有引入新的“天然”數(shù)據(jù)[1]，模型最終會失效（或者至少，其表現(xiàn)會明顯下降）。

這不是“是否”會發(fā)生的問題，而是“何時”會發(fā)生的問題。

根據(jù) Tomasz 的說法，我們離模型崩潰還很遠。但隨著 AI 研究不斷將模型推向其功能極限，不難想象 AI 最終會達到其功能平臺極限 —— 可能比我們預(yù)期的更早。

08 非結(jié)構(gòu)化數(shù)據(jù)技術(shù)棧將嶄露頭角（Barr）

在生產(chǎn)中利用非結(jié)構(gòu)化數(shù)據(jù)的想法并不新鮮 —— 但在人工智能時代，非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)扮演了全新的角色。

根據(jù) IDC 的一份報告，目前只有大約一半的企業(yè)非結(jié)構(gòu)化數(shù)據(jù)得到了分析[2]。

這一切即將改變。

說到生成式人工智能，企業(yè)的成功在很大程度上取決于用于訓(xùn)練、微調(diào)和增強的大量非結(jié)構(gòu)化數(shù)據(jù)。隨著越來越多的企業(yè)希望將人工智能應(yīng)用于企業(yè)使用場景，對非結(jié)構(gòu)化數(shù)據(jù)，以及新興的“非結(jié)構(gòu)化數(shù)據(jù)技術(shù)棧[3]”的熱情將繼續(xù)增長。

一些團隊甚至正在探索如何使用額外的 LLMs（大語言模型）來為非結(jié)構(gòu)化數(shù)據(jù)添加結(jié)構(gòu)[4]，以擴展其在其他訓(xùn)練和分析使用場景中的用途。

識別企業(yè)中存在的非結(jié)構(gòu)化第一方數(shù)據(jù)，以及如何為利益相關(guān)者激活這些數(shù)據(jù) —— 對于尋求展示數(shù)據(jù)平臺商業(yè)價值的數(shù)據(jù)領(lǐng)導(dǎo)者來說，是一個全新的機遇（并希望在此過程中為優(yōu)先計劃爭取到一些額外的預(yù)算）。

如果說 2024 年是探索非結(jié)構(gòu)化數(shù)據(jù)潛力的一年，那么 2025 年將完全是實現(xiàn)其價值的一年。問題是……哪些工具將脫穎而出？

09 Agentic AI 對話表現(xiàn)出色 —— 但部署卻成問題（Tomasz）

如果你最近在風(fēng)投圈子里轉(zhuǎn)悠，可能會經(jīng)常聽到兩個流行詞匯：“copilot”，這其實是指一種用于完成單個任務(wù)的 AI（比如“修正我那糟糕的代碼”），以及“agents”，這是一種能夠收集信息并據(jù)此執(zhí)行多步驟任務(wù)的工作流程（例如“撰寫關(guān)于我那糟糕代碼的博客，并發(fā)布到我的 WordPress 上”）。

2024 年，AI copilots 確實取得了不小的成就（問問 Github、Snowflake、微軟的 paperclip 團隊就知道了），但 AI agents 的表現(xiàn)又如何呢？

盡管 Agentic AI 給客戶支持團隊帶來了不少樂趣，但看起來它在短期內(nèi)也就只能做到這個程度。這些早期的 AI agents 雖然標(biāo)志著我們向前邁出的重要一步，但其工作流程的準(zhǔn)確性仍然不盡人意。

要知道，對于人工智能來說，75%-90% 的準(zhǔn)確率已經(jīng)是最先進的水平了，大多數(shù) AI 的水平相當(dāng)于高中生。如果三個步驟的準(zhǔn)確率在 75–90%，那么最終的準(zhǔn)確率可能只剩下 50% 左右。

我們訓(xùn)練大象畫畫的準(zhǔn)確率都比這高。

大多數(shù) AI agents 如果以目前的性能投入生產(chǎn)，遠不能為企業(yè)帶來收益，很可能還會帶來負面影響。Tomasz 認為，我們需要先解決這個問題。

重要的是能夠談?wù)撨@些 AI agents，還沒有人能夠在項目演示之外取得過任何成功。硅谷的人們或許喜歡談?wù)?AI agents，但這種討論并不能轉(zhuǎn)化為實際的性能表現(xiàn)。

10 數(shù)據(jù)管道規(guī)模不斷擴大 —— 但質(zhì)量保障并未同步提升（Tomasz）

“在一次與眾多 AI 領(lǐng)域領(lǐng)導(dǎo)者的晚宴上，我詢問了有多少人對輸出結(jié)果的質(zhì)量感到滿意，結(jié)果無人響應(yīng)。在確保輸出一致性方面，我們確實面臨著嚴(yán)峻的質(zhì)量挑戰(zhàn)。”

Monte Carlo 每年都會調(diào)查[5]數(shù)據(jù)專家的真實數(shù)據(jù)質(zhì)量狀況。今年，我們將焦點對準(zhǔn)了 AI 的影響范圍，得到的信號非常明確。

數(shù)據(jù)質(zhì)量風(fēng)險正在演變，但數(shù)據(jù)質(zhì)量管理卻未能跟上步伐。

“我們觀察到一些團隊正在大規(guī)模構(gòu)建向量數(shù)據(jù)庫或嵌入模型，規(guī)模化應(yīng)用 SQLLite，共計 1 億個小數(shù)據(jù)庫。它們開始在 CDN 層進行架構(gòu)設(shè)計，以運行這些小型模型。iPhone 也將搭載機器學(xué)習(xí)模型。我們預(yù)計將看到數(shù)據(jù)管道總數(shù)的大幅增長，但每個管道處理的數(shù)據(jù)量會更小。”

微調(diào)模式將導(dǎo)致企業(yè)內(nèi)部數(shù)據(jù)管道數(shù)量急劇增加。然而，數(shù)據(jù)管道規(guī)模越大，保證數(shù)據(jù)質(zhì)量就越發(fā)困難。

數(shù)據(jù)質(zhì)量與數(shù)據(jù)管道的數(shù)量和復(fù)雜度直接相關(guān)。數(shù)據(jù)管道越多（且越復(fù)雜），出現(xiàn)問題的幾率就越高，而及時發(fā)現(xiàn)問題的可能性就越小。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

About the authors

Barr Moses

Co-Founder and CEO, Monte Carlo (??www.montecarlodata.com??).

@BM_DataDowntime #datadowntime

END

本期互動內(nèi)容 ??

?在你的日常工作中，哪個趨勢已經(jīng)開始顯現(xiàn)？歡迎分享你的觀察

??文中鏈接??