過去十年間，僅靠簡單的神經網絡計算，以及大規模的訓練數據支持，自然語言處理領域取得了相當大的突破，由此訓練得到的預訓練語言模型，如BERT、GPT-3等模型都提供了強大的通用語言理解、生成和推理能力。

前段時間，斯坦福大學大學教授Christopher D. Manning在Daedalus期刊上發表了一篇關于「人類語言理解和推理」的論文，主要梳理自然語言處理的發展歷史，并分析了基礎模型的未來發展前景。

論文鏈接：https://direct.mit.edu/daed/article/151/2/127/110621/Human-Language-Understanding-amp-Reasoning

論文作者Christopher Manning是斯坦福大學計算機與語言學教授，也是將深度學習應用于自然語言處理領域的領軍者，研究方向專注于利用機器學習方法處理計算語言學問題，以使計算機能夠智能處理、理解并生成人類語言。

Manning教授是ACM Fellow，AAAI Fellow 和ACL Fellow，他的多部著作，如《統計自然語言處理基礎》、《信息檢索導論》等都成為了經典教材，其課程斯坦福CS224n《深度學習自然語言處理》更是無數NLPer的入門必看。

NLP的四個時代

第一時代（1950-1969）

NLP的研究最早始于機器翻譯的研究，當時的人們認為，翻譯任務可以基于二戰期間在碼破譯的成果繼續發展，冷戰的雙方也都在開發能夠翻譯其他國家科學成果的系統，不過在此期間，人們對自然語言、人工智能或機器學習的結構幾乎一無所知。

當時的計算量和可用數據都非常少，雖然最初的系統被大張旗鼓地宣傳，但這些系統只提供了單詞級的翻譯查找和一些簡單的、基于規則的機制來處理單詞的屈折形式（形態學）和詞序。

第二時代（1970-1992）

這一時期可以看到一系列NLP演示系統的發展，在處理自然語言中的語法和引用等現象方面表現出了復雜性和深度，包括Terry Winograd的SHRDLU，Bill Woods的LUNAR，Roger Schank的SAM，加里Hendrix的LIFER和Danny Bobrow的GUS，都是手工構建的、基于規則的系統，甚至還可用用于諸如數據庫查詢之類的任務。

語言學和基于知識的人工智能正在迅速發展，在這個時代的第二個十年，出現了新一代手工構建的系統，在陳述性語言知識和程序處理之間有著明確的界限，并且受益于語言學理論的發展。

第三時代（1993-2012）

在此期間，數字化文本的可用數量顯著提升，NLP的發展逐漸轉為深度的語言理解，從數千萬字的文本中提取位置、隱喻概念等信息，不過仍然只是基于單詞分析，所以大部分研究人員主要專注于帶標注的語言資源，如標記單詞的含義、公司名稱、樹庫等，然后使用有監督機器學習技術來構建模型。

第四時代（2013-現在）

深度學習或人工神經網絡方法開始發展，可以對長距離的上下文進行建模，單詞和句子由數百或數千維的實值向量空間進行表示，向量空間中的距離可以表示意義或語法的相似度，不過在執行任務上還是和之前的有監督學習類似。

2018年，超大規模自監督神經網絡學習取得了重大成功，可以簡單地輸入大量文本（數十億個單詞）來學習知識，基本思想就是在「給定前幾個單詞」的情況下連續地預測下一個單詞，重復數十億次預測并從錯誤中學習，然后就可以用于問答或文本分類任務。

預訓練的自監督方法的影響是革命性的，無需人類標注即可產生一個強大的模型，后續簡單微調即可用于各種自然語言任務。

模型架構

自2018年以來，NLP應用的主要神經網絡模型轉為Transformer神經網絡，核心思想是注意力機制，單詞的表征計算為來自其他位置單詞表征的加權組合。

Transofrmer一個常見的自監督目標是遮罩文本中出現的單詞，將該位置的query, key和value向量與其他單詞進行比較，計算出注意力權重并加權平均，再通過全連接層、歸一化層和殘差連接來產生新的單詞向量，再重復多次增加網絡的深度。

雖然Transformer的網絡結構看起來不復雜，涉及到的計算也很簡單，但如果模型參數量足夠大，并且有大量的數據用來訓練預測的話，模型就可以發現自然語言的大部分結構，包括句法結構、單詞的內涵、事實知識等。

prompt生成

從2018年到2020年，研究人員使用大型預訓練語言模型（LPLM）的主要方法就是使用少量的標注數據進行微調，使其適用于自定義任務。

但GPT-3（Generative Pre-training Transformer-3）發布后，研究人員驚訝地發現，只需要輸入一段prompt，即便在沒有訓練過的新任務上，模型也可以很好地完成。

相比之下，傳統的NLP模型由多個精心設計的組件以流水線的方式組裝起來，先捕獲文本的句子結構和低級實體，然后再識別出更高層次的含義，再輸入到某些特定領域的執行組件中。

在過去的幾年里，公司已經開始用LPLM取代這種傳統的NLP解決方案，通過微調來執行特定任務。

機器翻譯

早期的機器翻譯系統只能在有限的領域中覆蓋有限的語言結構。

2006年推出的谷歌翻譯首次從大規模平行語料中構建統計模型；2016年谷歌翻譯轉為神經機器翻譯系統，質量得到極大提升；2020年再次更新為基于Transformer的神經翻譯系統，不再需要兩種語言的平行語料，而是采用一個巨大的預訓練網絡，通過一個特別的token指示語言類型進行翻譯。

問答任務

問答系統需要在文本集合中查找相關信息，然后提供特定問題的答案，下游有許多直接的商業應用場景，例如售前售后客戶支持等。

現代神經網絡問答系統在提取文本中存在的答案具有很高的精度，也相當擅長分類出不存在答案的文本。

分類任務

對于常見的傳統NLP任務，例如在一段文本中識別出人員或組織名稱，或者對文本中關于產品的情感進行分類（積極或消極），目前最好的系統仍然是基于LPLM的微調。

文本生成

除了許多創造性的用途之外，生成系統還可以編寫公式化的新聞文章，比如體育報道、自動摘要等，也可以基于放射科醫師的檢測結果生成報告。

不過，雖然效果很好，但研究人員們仍然很懷疑這些系統是否真的理解了他們在做什么，或者只是一個無意義的、復雜的重寫系統。

意義(meaning)

語言學、語言哲學和編程語言都在研究描述意義的方法，即指稱語義學方法（denotational semantics）或指稱理論（heory of reference）：一個詞、短語或句子的意義是它所描述的世界中的一組對象或情況（或其數學抽象）。

現代NLP的簡單分布語義學認為，一個詞的意義只是其上下文的描述，Manning認為，意義產生于理解語言形式和其他事物之間的聯系網絡，如果足夠密集，就可以很好地理解語言形式的意義。

LPLM在語言理解任務上的成功，以及將大規模自監督學習擴展到其他數據模態（如視覺、機器人、知識圖譜、生物信息學和多模態數據）的廣泛前景，使得AI變得更加通用。

基礎模型

除了BERT和GPT-3這樣早期的基礎模型外，還可以將語言模型與知識圖神經網絡、結構化數據連接起來，或是獲取其他感官數據，以實現多模態學習，如DALL-E模型，在成對的圖像、文本的語料庫進行自監督學習后，可以通過生成相應的圖片來表達新文本的含義。

我們目前還處于基礎模型研發的早期，但未來大多數信息處理和分析任務，甚至像機器人控制這樣的任務，都可以由相對較少的基礎模型來處理。

雖然大型基礎模型的訓練是昂貴且耗時的，但訓練完成后，使其適應于不同的任務還是相當容易的，可以直接使用自然語言來調整模型的輸出。

但這種方式也存在風險：

1. 有能力訓練基礎模型的機構享受的權利和影響力可能會過大；

2. 大量終端用戶可能會遭受模型訓練過程中的偏差影響；

3. 由于模型及其訓練數據非常大，所以很難判斷在特定環境中使用模型是否安全。

雖然這些模型的最終只能模糊地理解世界，缺乏人類水平的仔細邏輯或因果推理能力，但基礎模型的廣泛有效性也意味著可以應用的場景非常多，下一個十年內或許可以發展為真正的通用人工智能。