如何復(fù)盤大模型技術(shù)爆發(fā)的這一年？除了直觀的感受，你還需要一份系統(tǒng)的總結(jié)。

今天，斯坦福 HAI 研究所發(fā)布了第七個年度的 AI Index 報告，這是關(guān)于人工智能行業(yè)現(xiàn)狀的最全面的報告之一。

訪問地址：https://hai.stanford.edu/news/ai-index-state-ai-13-charts

報告指出，人工智能的發(fā)展正以驚人的速度向前推進，開發(fā)人員每月都在制造出越來越強大、越來越復(fù)雜的模型。然而，盡管發(fā)展速度加快，人工智能行業(yè)在解決人們對人工智能可解釋性的擔(dān)憂以及對其對人們生活影響的日益緊張方面卻進展甚微。

在今年的報告中，斯坦福 HAI 研究所增加了有關(guān)負(fù)責(zé)任人工智能的擴展章節(jié)，有關(guān)科學(xué)和醫(yī)學(xué)領(lǐng)域人工智能的新章節(jié)，以及對研發(fā)、技術(shù)性能、經(jīng)濟、教育、政策和治理、多樣性和公眾輿論的綜述。

以下是報告的重點內(nèi)容：

• 2023 年的進展速度比以往任何一年都要快得多，GPT-4、Gemini 和 Claude 3 等最先進的系統(tǒng)顯示出令人印象深刻的多模態(tài)功能，能夠生成流暢的數(shù)據(jù)多種語言的文本、處理音頻和圖像以及解釋網(wǎng)絡(luò)梗圖。
• 2023 年新發(fā)布的支持生成式 AI 的大型語言模型數(shù)量比前一年翻了一番，其中三分之二是開源模型，例如 Meta 的 Llama 2，但性能最佳的是閉源模型，例如 Google 的 Gemini Ultra。
• 2023 年，工業(yè)界繼續(xù)主導(dǎo)人工智能前沿研究。工業(yè)界產(chǎn)生了 51 個值得關(guān)注的機器學(xué)習(xí)模型，而學(xué)術(shù)界僅貢獻了 15 個。2023 年，產(chǎn)學(xué)界合作產(chǎn)生了 21 個值得關(guān)注的模型，再創(chuàng)新高。
• 美國領(lǐng)先中國、歐盟和英國，成為頂級人工智能模型的主要來源地。2023 年，61 個著名的人工智能模型源自美國機構(gòu)，遠遠超過歐盟的 21 個和中國的 15 個。
• Gemini Ultra 是第一個在大規(guī)模多任務(wù)語言理解關(guān)鍵基準(zhǔn)測試中達到人類水平表現(xiàn)的 LLM。OpenAI 的 GPT-4 也不甘示弱，在 Holistic Evaluation of Language Models 基準(zhǔn)上取得了 0.96 的平均勝率得分，該基準(zhǔn)將 MMLU 與其他評估結(jié)合起來。
• 不過，人工智能性能的提高是有代價的，報告發(fā)現(xiàn)，前沿人工智能模型的開發(fā)成本正變得越來越高。據(jù)說 Gemini Ultra 消耗了價值 1.91 億美元的計算資源，而 GPT-4 的開發(fā)成本估計為 7800 萬美元。

企業(yè)對生成式 AI 投資猛增

圖 4.3.1 展示了 2013 年至 2023 年全球企業(yè)人工智能投資趨勢，包括并購、少數(shù)股權(quán)、私募投資和公開發(fā)行。全球企業(yè)對人工智能的投資連續(xù)第二年下降。

2023 年，總投資下降至 1892 億美元，較 2022 年下降約 20%。然而，在過去十年中，企業(yè)對人工智能相關(guān)投資增加了十三倍。

圖 4.3.3 表明，AI 行業(yè)吸引了 252 億美元的投資，幾乎是 2022 年投資的九倍，是 2019 年投資額的約 30 倍。此外，生成式人工智能占 2023 年所有人工智能相關(guān)私人投資的四分之一以上。

假如按區(qū)域進行比較，美國在人工智能私人投資總額方面再次領(lǐng)先世界。2023 年，美國投資額為 672 億美元，大約是第二高國家中國投資額（78 億美元）的 8.7 倍，是英國投資額（38 億美元）的 17.8 倍（圖 4.3.8)。

谷歌在基礎(chǔ)模型競賽中占據(jù)主導(dǎo)地位

報告顯示，谷歌在 2023 年發(fā)布的基礎(chǔ)模型最多，圖 1.3.16 總結(jié)了 2023 年各個機構(gòu)發(fā)布的各種基礎(chǔ)模型。Google 發(fā)布了最多的模型（18 個），其次是 Meta（11 個）和 Microsoft（9 個）。2023 年發(fā)布基礎(chǔ)模型最多的學(xué)術(shù)機構(gòu)是加州大學(xué)伯克利分校 (3 個)。

自 2019 年以來，Google 發(fā)布的基礎(chǔ)模型數(shù)量最多，共有 40 個，其次是 OpenAI，有 20 個（圖 1.3.17）。清華大學(xué)也脫穎而出，發(fā)布了七個基礎(chǔ)模型，而斯坦福大學(xué)是美國領(lǐng)先的學(xué)術(shù)機構(gòu)，發(fā)布了五個模型。

閉源模型優(yōu)于開源模型

圖 2.11.4 和 2.11.5 將閉源模型與開源模型在選定的基準(zhǔn)上進行了對比。在所有選定的基準(zhǔn)上，閉源模型的表現(xiàn)均優(yōu)于開源模型。

訓(xùn)練成本

關(guān)于基礎(chǔ)模型，一個繞不開的話題是推理成本。盡管人工智能公司很少透露訓(xùn)練模型所涉及的費用，但人們普遍認(rèn)為這些成本已達到數(shù)百萬美元，并且還在不斷上升。例如，OpenAI 首席執(zhí)行官 Sam Altman 曾提到，GPT-4 的訓(xùn)練成本超過 1 億美元。

圖 1.3.21 根據(jù)云計算租賃價格直觀地顯示了與選定 AI 模型相關(guān)的訓(xùn)練成本。下圖表明近年來模型訓(xùn)練成本大幅增加。例如，2017 年 Transformer 模型訓(xùn)練成本約為 900 美元。2019 年發(fā)布的 RoBERTa Large 訓(xùn)練成本約為 160,000 美元。2023 年，OpenAI 的 GPT-4 和 Google 的 Gemini Ultra 的訓(xùn)練成本預(yù)計分別約為 7800 萬美元和 1.91 億美元。

圖 1.3.22 顯示了 AI Index 估計的所有 AI 模型的訓(xùn)練成本。如圖所示，隨著時間的推移，模型訓(xùn)練成本急劇增加。

如圖 1.3.23 所示，對計算訓(xùn)練需求更大的模型需要的訓(xùn)練成本更多。

碳足跡

圖 2.13.1 顯示了選定 LLM 在訓(xùn)練期間釋放的碳（以噸為單位）的比較。例如，Meta 發(fā)布的 Llama 2 70B 模型釋放了約 291.2 噸碳，這比一位旅客從紐約到舊金山的往返航班所釋放的碳排放量高出近 291 倍，大約是普通美國人一年碳排放量的 16 倍。然而，Llama 2 的排放量仍低于 OpenAI GPT-3 訓(xùn)練期間報告的 502 噸排放量。

美國在基礎(chǔ)模型方面處于領(lǐng)先位置

2023 年，全球大部分基礎(chǔ)模型源自美國（109 個），其次是中國（20 個）和英國（圖 1.3.18）。自 2019 年以來，美國在大多數(shù)基礎(chǔ)模型的研發(fā)方面一直處于領(lǐng)先地位（圖 1.3.19）。

CS 博士畢業(yè)生

美國和加拿大計算機科學(xué)博士畢業(yè)生數(shù)量十年來首次顯著增加。2022 年，計算機科學(xué)博士畢業(yè)生人數(shù)達到 2105 人，為 2010 年以來最高（圖 6.1.5）。

越來越多的 AI 博士畢業(yè)生在工業(yè)界尋求職業(yè)生涯（圖 6.1.7 和圖 6.1.8）。2011 年，工業(yè)界（40.9%）和學(xué)術(shù)界（41.6%）的就業(yè)比例大致相同。然而，到 2022 年，與進入學(xué)術(shù)界的人 (20.0%) 相比，畢業(yè)后進入工業(yè)界的比例 (70.7%) 明顯更高。過去 5 年，進入政府職位的 AI 博士比例一直保持在相對較低的水平，穩(wěn)定在 0.7% 左右。

考生類別增加

下圖所示 AP CS 考生的種族多樣性正在增加。雖然白人學(xué)生仍然是最大的群體，但隨著時間的推移，亞裔、西班牙裔 / 拉美裔等學(xué)生參加 AP CS 考試的人數(shù)不斷增加（圖 8.3.3）。2022 年，白人學(xué)生在考生中所占比例最大（38.2%），其次是亞裔學(xué)生（27.8%）（圖 8.3.3 和圖 8.3.4）。

財報電話會議

去年，財富 500 強公司財報電話會議中提及人工智能的次數(shù)顯著增加。2023 年，有 394 場財報電話會議提到了人工智能（占所有財富 500 強公司的近 80%），高于 2022 年的 266 場（圖 4.4.25）。自 2018 年以來，財富 500 強財報電話會議中提及人工智能的次數(shù)幾乎增加了一倍。

涉及的主題非常廣泛，最常被提及的主題是生成式人工智能，占所有財報電話會議的 19.7%(圖 4.4.26)。

成本下降，收入上升

人工智能不僅僅是企業(yè)的流行語：麥肯錫的同一項調(diào)查顯示，人工智能的整合使企業(yè)成本下降，收入增加。總體而言，42% 的受訪者表示他們的成本降低了，59% 的受訪者表示收入增加了。

2023 年，不同領(lǐng)域的多項研究表明，人工智能使工人能夠更快地完成任務(wù)，并提高工作質(zhì)量。其中一項研究考察了使用 Copilot 的編程人員，其他研究則考察了顧問、呼叫中心代理和法律專業(yè)學(xué)生。研究還表明，雖然每個工人都能從中受益，但人工智能對低技能工人的幫助要大于對高技能工人的幫助。

企業(yè)確實感知到了風(fēng)險

報告對收入至少在 5 億美元以上的 1000 家公司進行了一次全球調(diào)查，以了解企業(yè)如何看待負(fù)責(zé)任的人工智能。

結(jié)果顯示，隱私和數(shù)據(jù)管理被認(rèn)為是全球最大的風(fēng)險，而公平性（通常以算法偏見的形式討論）仍未被大多數(shù)公司所重視。

一張圖表顯示，企業(yè)正在針對其感知到的風(fēng)險采取行動：各地區(qū)的大多數(shù)企業(yè)都針對相關(guān)風(fēng)險實施了至少一項負(fù)責(zé)任的人工智能措施。

人工智能還不能在所有事情上擊敗人類……

近年來，人工智能系統(tǒng)在閱讀理解和視覺推理等一系列任務(wù)上的表現(xiàn)都優(yōu)于人類，如 2015 年的圖像分類、2017 年的基礎(chǔ)閱讀理解、2020 年的視覺推理和 2021 年的自然語言推理。

但在一些復(fù)雜的認(rèn)知任務(wù)中，人類的表現(xiàn)仍然優(yōu)于人工智能系統(tǒng)，如視覺常識推理和高級數(shù)學(xué)問題解決（競賽級數(shù)學(xué)問題），讓我們明年再看看情況如何。

制定人工智能責(zé)任規(guī)范

當(dāng)一家人工智能公司準(zhǔn)備發(fā)布一個大模型時，標(biāo)準(zhǔn)做法是根據(jù)該領(lǐng)域的流行基準(zhǔn)對其進行測試，從而讓社區(qū)了解模型在技術(shù)性能方面是如何相互疊加的。然而，根據(jù)負(fù)責(zé)任的人工智能基準(zhǔn)對模型進行測試的做法并不多見，這些基準(zhǔn)主要評估有毒語言輸出（RealToxicityPrompts 和 ToxiGen）、反應(yīng)中的有害偏差（BOLD 和 BBQ）以及模型的真實程度（TruthfulQA）。這種情況正在開始改變，因為人們越來越意識到，根據(jù)這些基準(zhǔn)檢查自己的模型是一件負(fù)責(zé)任的事情。

然而，報告中的一張圖表顯示，一致性還很欠缺：OpenAI、Google 和 Anthropic 在內(nèi)的領(lǐng)先開發(fā)人員主要根據(jù)不同的負(fù)責(zé)任的 AI 基準(zhǔn)測試他們的模型。這種做法使得系統(tǒng)地比較頂級人工智能模型的風(fēng)險和局限性的工作變得更加復(fù)雜。

法律對人工智能的促進和限制

報告指出，在 2016 年至 2023 年期間，有 33 個國家至少通過了一項與人工智能有關(guān)的法律，其中大部分行動發(fā)生在美國和歐洲；在此期間，總共通過了 148 項與人工智能有關(guān)的法案。研究者還將法案分為旨在增強國家人工智能能力的擴張性法律和對人工智能應(yīng)用和使用施加限制的限制性法律。

可以發(fā)現(xiàn)，雖然許多法案都在繼續(xù)促進人工智能的發(fā)展，但限制性立法已成為全球趨勢。

AI 正讓人們變得緊張

報告的第九章是關(guān)于「公眾觀點」的，多倫多大學(xué)的一項國際調(diào)查顯示，63% 的受訪者知道 ChatGPT。在那些知道的人中，大約有一半的人每周至少使用 ChatGPT 一次。

但公眾對人工智能的經(jīng)濟影響持悲觀態(tài)度。在 lpsos 的一項調(diào)查中，只有 37% 的受訪者認(rèn)為人工智能將改善他們的工作。只有 34% 的人認(rèn)為人工智能將促進經(jīng)濟，32% 的人認(rèn)為它將促進就業(yè)市場。

這一指數(shù)的民意數(shù)據(jù)來自一項關(guān)于對人工智能態(tài)度的全球調(diào)查，31 個國家的 22816 名成年人（年齡在 16 歲至 74 歲之間）參與了調(diào)查。

超過半數(shù)的受訪者表示，人工智能讓他們感到緊張，而前一年這一比例為 39%。三分之二的人現(xiàn)在預(yù)計人工智能將在未來幾年內(nèi)深刻改變他們的日常生活。

該指數(shù)中的其他圖表顯示，不同人群的觀點存在顯著差異，年輕人更傾向于樂觀地看待人工智能將如何改變他們的生活。