這個(gè)星期，數(shù)據(jù)挖掘頂會(huì) ACM KDD 2023 在美國(guó)長(zhǎng)灘開(kāi)幕，在五天的主會(huì)議期間，大會(huì)專門(mén)給大模型準(zhǔn)備了一整天。來(lái)自 Open AI、Meta、智譜 AI、Google DeepMind、Microsoft、Intel 等大語(yǔ)言模型領(lǐng)域走在前沿的公司及研究學(xué)者進(jìn)行了精彩的思想碰撞。

這也是為數(shù)不多的一次，是中國(guó)的大語(yǔ)言模型專家與國(guó)際巨頭們同臺(tái)競(jìng)技，深度交流。

此次大模型開(kāi)放日的 Keynote 演講嘉賓包括：微軟首席科學(xué)家 & 技術(shù)院士 Jaime Teevan，OpenAI ChatGPT 團(tuán)隊(duì)成員 Jason Wei，智譜 AI CEO 張鵬，谷歌 DeepMind 首席科學(xué)家 / 研究主管 Denny Zhou，以及 Meta FAIR 研究工程師 Vedanuj Goswami，他們就大模型賦能未來(lái)工作、語(yǔ)言模型推理能力、Llama 2、GLM-130B 和 ChatGLM、大模型范式與挑戰(zhàn)等主題進(jìn)行了分享。

此次活動(dòng)聚焦兩大主題：大語(yǔ)言模型以及其在不同領(lǐng)域應(yīng)用的最新研究進(jìn)展，以及如何建立值得信賴的大語(yǔ)言模型。讓我們一起聽(tīng)聽(tīng)他們都說(shuō)了什么。

OpenAI Jason Wei

大語(yǔ)言模型的復(fù)興：范式和挑戰(zhàn)

Jason Wei 是 OpenAI ChatGPT 研發(fā)團(tuán)隊(duì)成員之一。此前他在谷歌大腦團(tuán)隊(duì)擔(dān)任高級(jí)研究科學(xué)家，期間致力于推廣思維鏈提示，共同領(lǐng)導(dǎo)了指令調(diào)優(yōu)前期工作，并撰寫(xiě)關(guān)于大語(yǔ)言模型涌現(xiàn)的工作。

Jason 的分享主題為《大語(yǔ)言模型的復(fù)興：范式和挑戰(zhàn)》。他首先概述了大語(yǔ)言模型的三個(gè)主要特征，分別是縮放法則、涌現(xiàn)能力和推理能力，并探討了這些特征如何影響自己的 AI 研究領(lǐng)域。

隨后，Jason 介紹了他和其他人在 LLM 推理能力上所做的研究工作。首先是思維鏈（Chain-of-Thought）。如果你用一個(gè)想法來(lái)提示 LLM，它給出的回復(fù)質(zhì)量就會(huì)飛躍。

第二個(gè)想法是「自我一致性」（Self-Consistency）：對(duì)多次生成進(jìn)行采樣調(diào)查，然后選擇最常見(jiàn)的答案?！缸晕乙恢滦浴垢纳屏苏Z(yǔ)言模型中的思維鏈推理。

第三個(gè)想法是「從最少到最多的提示」（Least-to-Most Prompting），這要求 LLM 將問(wèn)題分解成不同的任務(wù)，并從易到難進(jìn)行排序。

智譜 AI 張鵬 

從 GLM-130B 到 ChatGLM

作為智譜 AI（Zhipu AI）的 CEO，張鵬帶領(lǐng)團(tuán)隊(duì)成功開(kāi)發(fā)了 1300 億參數(shù)的雙語(yǔ)（中英文）大語(yǔ)言模型 GLM-130B。自 2022 年 8 月起，該模型已開(kāi)源，在準(zhǔn)確性和魯棒性方面可媲美 GPT-3 davinci。

2023 年 3 月 14 日，基于 GLM-130B，智譜 AI 正式發(fā)布了 ChatGLM，一款類 ChatGPT 的對(duì)話機(jī)器人產(chǎn)品。此外，其開(kāi)源、緊湊的版本 ChatGLM-6B 與 ChatGLM2-6B 全球下載量超過(guò) 5,000,000 次，連續(xù) 28 天位居 Hugging Face Trending 榜首，并在 GitHub 上獲得超過(guò) 4.4 萬(wàn)顆星標(biāo)。

最近，智譜 AI 還把 ChatGLM 升級(jí)到 ChatGLM2，推出了多個(gè)參數(shù)尺寸，大幅提升了能力，基于 ChatGLM2-6B 的代碼生成模型，智譜 AI 還更新了代碼生成工具 CodeGeeX2。

張鵬的分享主題是《從 GLM-130B 到 ChatGLM》。張鵬介紹了智譜 AI 自研的 GLM 框架，GLM 的預(yù)訓(xùn)練框架是一種自回歸填空的方法，集成了 GPT 和 BERT 這兩種預(yù)訓(xùn)練框架的優(yōu)勢(shì)，既能夠?qū)崿F(xiàn)單項(xiàng)注意力的計(jì)算，做序列的生成，也可以做到雙向注意力的計(jì)算，做回歸的模型。

在 GLM 基礎(chǔ)上，2022 年 8 月，智譜推出擁有 1300 億參數(shù)的中英雙語(yǔ)稠密模型 GLM-130B。得益于新的模型架構(gòu)，GLM 在許多具有百萬(wàn)參數(shù)甚至更少訓(xùn)練步驟的基準(zhǔn)測(cè)試中，能夠在自然語(yǔ)言理解方面實(shí)現(xiàn)比 BERT 和 T5 更好的性能。訓(xùn)練一個(gè) 1000 億規(guī)模的大型語(yǔ)言模型并非易事，智譜團(tuán)隊(duì)解決了許多工程問(wèn)題和算法上的挑戰(zhàn)，包括頻繁且隨機(jī)的硬件故障、訓(xùn)練穩(wěn)定性等問(wèn)題，相關(guān)細(xì)節(jié)都發(fā)表在 ICLR 2023 的論文中。

微軟 Jaime Teevan

從文檔到對(duì)話：LLM 如何塑造未來(lái)的工作

Jaime 是微軟首席科學(xué)家和技術(shù)院士，負(fù)責(zé)公司核心產(chǎn)品中的驅(qū)動(dòng)技術(shù)創(chuàng)新。她提倡人們應(yīng)找到更聰明的方式來(lái)充分利用好時(shí)間，領(lǐng)導(dǎo)微軟的未來(lái)工作倡議，探索 AI 和混合辦公等如何改變?nèi)藗兺瓿墒虑榈姆绞健４饲八鴵?dān)任微軟 CEO 薩提亞?納德拉的技術(shù)顧問(wèn)，并領(lǐng)導(dǎo)了微軟研究院的生產(chǎn)力團(tuán)隊(duì)。

此外，Jaime 是 ACM Fellow 以及 ACM SIGIR and SIGCHI Academies 的會(huì)員。她還曾榮獲 TR35、BECA 和 Karen Sparck Jones 獎(jiǎng)。她本科畢業(yè)于耶魯大學(xué)，并獲得了 MIT 人工智能博士學(xué)位。她也是華盛頓大學(xué)的客座教授。

此次她的分享主題為《從文檔到對(duì)話：LLM 如何塑造未來(lái)的工作》?？梢韵胂蟮氖牵殡S LLM 的崛起，未來(lái)的工作方式正在發(fā)生迅速變化，知識(shí)越來(lái)越多地蘊(yùn)含在對(duì)話而非文檔中。

在演講中，Jaime 探討了 LLM 如何通過(guò)生成符合人們語(yǔ)境和意圖的自然語(yǔ)言建議和反饋，以提高人們的工作效率和創(chuàng)造力。要有效地做到這一點(diǎn)，LLM 需要能夠利用各種來(lái)源的相關(guān)內(nèi)容作為其響應(yīng)的基礎(chǔ)。人們還需要學(xué)習(xí)新的對(duì)話模式，以充分發(fā)揮大模型的價(jià)值，因?yàn)樵谌穗H交往中行之有效的模式對(duì) LLM 來(lái)說(shuō)可能并不是最佳的。

此外，Jaime 討論了提示工程在生產(chǎn)環(huán)境中的重要性，并強(qiáng)調(diào)能夠識(shí)別和推薦對(duì)話模板的價(jià)值。通過(guò)對(duì)這些研究課題的深入研究，推薦系統(tǒng)界有機(jī)會(huì)創(chuàng)造一個(gè)全新的、更美好的工作未來(lái)。

谷歌 DeepMind Denny Zhou

教語(yǔ)言模型學(xué)推理

Denny Zhou 是 Google DeepMind 的首席科學(xué)家 / 研究主管，他是推理團(tuán)隊(duì)的創(chuàng)立者和現(xiàn)任負(fù)責(zé)人。主要研究興趣在于構(gòu)建和教導(dǎo)大語(yǔ)言模型實(shí)現(xiàn)類人的推理能力。他領(lǐng)導(dǎo)的團(tuán)隊(duì)已經(jīng)開(kāi)發(fā)了思維鏈提示、自洽性解碼、最少到最多提示、指令調(diào)優(yōu)（FLAN2）、LLM 自我調(diào)試等大語(yǔ)言模型的各種涌現(xiàn)屬性。Denny Zhou 曾獲得 2022 年谷歌研究技術(shù)影響力獎(jiǎng)（Google Research Tech Impact Award）。

他的分享主題為《教語(yǔ)言模型學(xué)推理》。過(guò)去數(shù)十年，機(jī)器學(xué)習(xí)社區(qū)已經(jīng)開(kāi)發(fā)了大量用來(lái)增強(qiáng)學(xué)習(xí)效率的數(shù)據(jù)驅(qū)動(dòng)方法，比如半監(jiān)督學(xué)習(xí)、元學(xué)習(xí)、主動(dòng)學(xué)習(xí)、遷移學(xué)習(xí)等。然而，所有這些方法已被證明對(duì)于現(xiàn)實(shí)世界的 NLP 任務(wù)并不是特別有效，由此暴露了機(jī)器學(xué)習(xí)的一大缺陷 —— 缺乏推理。人們往往可以從很少的示例中學(xué)習(xí)，這就歸功于推理能力而不是依賴數(shù)據(jù)統(tǒng)計(jì)。

因此在此次分享中，Denny Zhou 探討了谷歌 DeepMind 引領(lǐng)的 LLM 推理工作，他們開(kāi)發(fā)的方法極大縮小了人類智能與機(jī)器學(xué)習(xí)之間的差距，在僅要求很少的注釋示例且不需要訓(xùn)練的情況下也能實(shí)現(xiàn)新的 SOTA。這些工作，谷歌 CEO 桑達(dá)爾?皮查伊在 2021 年的 Google I/O 大會(huì)上進(jìn)行過(guò)重點(diǎn)展示。

Meta FAIR  Vedanuj Goswami

Llama 2：開(kāi)放基礎(chǔ)和微調(diào)聊天模型

上個(gè)月，最強(qiáng)的開(kāi)源大模型 Llama 2 驚艷發(fā)布，一夜之間改變了大模型競(jìng)爭(zhēng)格局。發(fā)布之后， Llama 2 模型迅速成為了社區(qū)最廣泛使用和下載的開(kāi)源模型之一。Vedanuj 曾經(jīng)參與訓(xùn)練 Llama 2 系列模型，目前在 Meta AI 的 LLM 研究團(tuán)隊(duì)擔(dān)任研究工程師，重點(diǎn)研究 LLM 預(yù)訓(xùn)練和縮放技巧。

Vedanuj 還曾是「No Language Left Behind」（不落下任何語(yǔ)言）和「Universal Speech Translation for Unwritten Languages」（非書(shū)面語(yǔ)的通用語(yǔ)音翻譯）等翻譯項(xiàng)目的研究負(fù)責(zé)人，并在 FAIR 從事過(guò)多模態(tài)研究，領(lǐng)導(dǎo) FLAVA 和 MMF 等著名項(xiàng)目。

這一次，他的分享主題為《Llama 2：開(kāi)放基礎(chǔ)和微調(diào)聊天模型》。7 月 18 日剛剛發(fā)布的 Llama 2 模型系列包含 70 億、130 億和 700 億三種參數(shù)變體，因?yàn)殚_(kāi)源且可以直接商用化，吸引了整個(gè)業(yè)界的關(guān)注。

在預(yù)訓(xùn)練層面，Llama 2 模型系列以 Llama 1 論文中描述的預(yù)訓(xùn)練方法為基礎(chǔ)，使用了優(yōu)化的自回歸 transformer，并做了一些改變以提升性能。相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長(zhǎng)度也翻倍，并采用了分組查詢注意力機(jī)制。具體來(lái)說(shuō)，Llama 2 預(yù)訓(xùn)練模型是在 2 萬(wàn)億的 token 上訓(xùn)練的，精調(diào) Chat 模型是在 100 萬(wàn)人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。

在訓(xùn)練硬件方面，Meta 在其研究超級(jí)集群（Research Super Cluster, RSC）以及內(nèi)部生產(chǎn)集群上對(duì)模型進(jìn)行了預(yù)訓(xùn)練。兩個(gè)集群均使用了 NVIDIA A100。在 Meta 的評(píng)估中，多項(xiàng)測(cè)評(píng)結(jié)果顯示，Llama 2 在包括推理、編碼、精通性和知識(shí)測(cè)試等許多外部基準(zhǔn)測(cè)試中都優(yōu)于其他開(kāi)源語(yǔ)言模型。

當(dāng)然，對(duì)于今天的大模型來(lái)說(shuō)，「安全」是一個(gè)重要性不亞于「性能」的指標(biāo)。在 Llama 2 的研發(fā)過(guò)程中，Meta 使用了三個(gè)常用基準(zhǔn)評(píng)估其安全性：

• 真實(shí)性，指語(yǔ)言模型是否會(huì)產(chǎn)生錯(cuò)誤信息，采用 TruthfulQA 基準(zhǔn)；
• 毒性，指語(yǔ)言模型是否會(huì)產(chǎn)生「有毒」、粗魯、有害的內(nèi)容，采用 ToxiGen 基準(zhǔn)；
• 偏見(jiàn)，指語(yǔ)言模型是否會(huì)產(chǎn)生存在偏見(jiàn)的內(nèi)容，采用 BOLD 基準(zhǔn)。

如今，大模型技術(shù)以「天」為單位飛速發(fā)展。一覺(jué)醒來(lái)，人們可能就會(huì)看到最新技術(shù)成果帶來(lái)的巨變。

面對(duì)這樣的時(shí)代，學(xué)術(shù)界、工業(yè)界和社會(huì)各自面臨著怎樣的機(jī)遇？另一方面，大模型在生產(chǎn)、生活層面的深入，又帶給這個(gè)時(shí)代哪些挑戰(zhàn)？這些都是值得深思的問(wèn)題。

在活動(dòng)最后的圓桌討論中，來(lái)自 Google DeepMind、微軟、英特爾、密歇根大學(xué)的多位研究者共同探討了大模型時(shí)代面臨的范式轉(zhuǎn)變。

在各家廠商激烈角逐大模型的半年多時(shí)間里，我們很少有機(jī)會(huì)看到 GPT-4、Llama2、ChatGLM、PaLM2 這些模型的幕后團(tuán)隊(duì)能夠聚在一起進(jìn)行討論。特別是在這次大模型開(kāi)放日中，ChatGLM 成為唯一來(lái)自國(guó)內(nèi)的代表，向世界展現(xiàn)了中國(guó)的大模型技術(shù)實(shí)力。推出 ChatGLM 的智譜 AI，還是本次 KDD 最高級(jí)別的鉆石贊助商，可以看到國(guó)內(nèi)廠商在學(xué)術(shù)生態(tài)領(lǐng)域的活躍與貢獻(xiàn)。

今天，我們對(duì)大模型的能力還在不斷探索過(guò)程中，學(xué)術(shù)界也需要有更多的「大模型開(kāi)放日」，共同推動(dòng)各界力量的交流與合作，以突破人工智能的邊界。