譯者 | 李睿

審校 | 重樓

一、LLM的起源：NLP和神經網絡

大型語言模型(LLM)的創建并非一蹴而就。語言模型的第一個概念始于被稱為自然語言處理(NLP)的基于規則的系統。這些系統遵循預定義的規則，根據文本輸入做出決策并推斷結論。這些系統依靠if-else語句處理關鍵字信息，并生成預定的輸出。可以將其想象成一個決策樹，如果輸入包含X、Y、Z或沒有包含這些字母，則輸出則是預先確定的響應。例如：如果輸入包含關鍵字“母親(mother)”，則輸出“你母親怎么樣了?(How is your mother)”。否則，輸出“你能詳細說明一下嗎?”

最早取得的重大進展的是神經網絡。1943年，數學家沃倫·麥卡洛克受到人腦神經元功能的啟發，首次提出“神經網絡”這一概念。神經網絡甚至比“人工智能”這個術語早了大約12年。每一層的神經元網絡都以特定的方式組織，其中每個節點都有一個權重，決定了它在網絡中的重要性。最終，神經網絡打開了封閉的大門，為人工智能的發展奠定了基礎。

二、LLM的演化：嵌入、LSTM、注意力與Transformer

計算機無法像人類一樣理解句子中單詞的含義。為了提高計算機對語義分析的理解能力，必須首先應用單詞嵌入技術，該技術使模型能夠捕獲相鄰單詞之間的關系，從而提高各種NLP任務的性能。然而，需要有一種方法將單詞嵌入存儲在內存中。

長短期記憶(LSTM)和門控循環單元(GRU)在神經網絡中是一個巨大的飛躍，它們能夠比傳統神經網絡更有效地處理序列數據。雖然LSTM在某些情況下已不再使用，但這些模型為更復雜的語言理解和生成任務鋪平了道路，這些任務最終導致了Transformer模型的誕生。

三、現代LLM：注意力、Transformer和LLM變體

注意力機制的引入改變了游戲規則，使模型在進行預測時能夠專注于輸入序列的不同部分。Transformer模型是谷歌公司8名科學家在2017年發表的一篇開創性論文《注意力是你所需要的》中引入的，它利用注意力機制同時處理整個序列，極大地提高了效率和性能。而這些科學家當時沒有意識到他們的論文將在創造和開發人工智能技術方面產生巨大的影響。

在這篇論文發表之后，谷歌的BERT在2018年被開發出來，并被譽為為所有NLP任務的基線。作為一個開源模型，它被用于眾多項目中，為人工智能社區提供了構建項目和成長的機會。它的場景理解能力，預先訓練的本質和微調選項，以及Transformer模型的演示，為開發更大的模型奠定了基礎。

除了BERT之外，OpenAI公司還發布了GPT-1，這是他們的Transformer模型的第一次迭代。GPT-1擁有1.17億個參數，隨后GPT-2(2019年發布)實現了巨大飛躍，參數量增長至15億個，而GPT-3(2020年發布)更是達到了驚人的1750億個參數。OpenAI公司基于GPT-3的聊天機器人ChatGPT在兩年后的2022年11月30日發布，并引發巨大的應用熱潮，真正實現了強大人工智能模型的民主化。因此，用戶需要了解BERT和GPT-3的區別。

四、哪些技術進步正在推動LLM的未來發展?

硬件的進步、算法和方法的改進以及多模態的集成都促進了大型語言模型的發展。隨著業界找到有效利用LLM的新方法，持續的進步將為每個應用程序量身定制，并最終徹底改變計算領域。

1.硬件的進步

改進LLM的最簡單和最直接的方法是改進模型運行的實際硬件。圖形處理單元(GPU)等專用硬件的發展顯著地加快了大型語言模型的訓練和推理。GPU具有并行處理能力，已經成為處理LLM所需的大量數據和復雜計算的必要條件。

OpenAI公司使用NVIDIA GPU為其GPT模型提供動力，并成為首批NVIDIA DGX客戶之一。從人工智能的興起到人工智能的持續發展，NVIDIA與OpenAI的合作不斷加深，NVIDIA公司首席執行官親自交付了首批NVIDIA DGX-1，以及最新的NVIDIA DGX H200。這些GPU內置了海量內存和并行計算能力，以支持訓練、部署和推理的高性能。

2.算法和架構的改進

Transformer架構以其對LLM的幫助而著稱。這種架構的引入對LLM的發展至關重要，它能夠同時而不是順序處理整個序列，極大地提高了模型的效率和性能。

對于Transformer架構，以及它如何繼續發展大型語言模型，人們仍然可以有更多的期待。

• 對Transformer模型不斷改進，包括改進注意力機制和優化技術，將開發更準確、更快的模型。
• 研究新型架構，例如稀疏Transformer和高效注意力機制，旨在減少計算需求的同時保持或提高性能。

3.多模態輸入的集成

LLM的未來在于它們處理多模態輸入的能力，整合文本、圖像、音頻和潛在的其他數據形式，以創建更豐富、更具場景感知的模型。像OpenAI公司的CLIP和DALL-E這樣的多模態模型已經展示了結合視覺和文本信息的潛力，使圖像生成、字幕等應用成為可能。

這些集成允許LLM執行更復雜的任務，例如從文本和視覺線索中理解場景，這最終使它們更加通用和強大。

五、LLM的未來

這些進步并沒有停止，隨著LLM的創建者計劃在他們的工作中融入更多創新的技術和系統，還會有更多的進步。并非LLM的每一次改進都需要更高的計算要求或更深入的概念理解。一個關鍵的改進是開發更小、更用戶友好的模型。

雖然這些模型可能無法與“Mammoth LLM”(例如GPT-4和LLaMA 3)的有效性相媲美，但重要的是要記住，并非所有任務都需要大量復雜的計算。盡管它們的規模較大，但Mixtral 8x7B和Mistal 7B等先進的較小模型仍然可以提供令人印象深刻的性能。以下是一些有望推動LLM發展和改進的關鍵領域和技術：

1.混合專家(MoE)

混合專家(MoE)模型使用動態路由機制為每個輸入只激活模型參數的一個子集。這種方法允許模型有效地擴展，根據輸入場景激活最相關的“專家”，如下圖所示。MoE模型提供了一種在不增加計算成本的情況下擴展LLM的方法。通過在任何給定時間僅利用整個模型的一小部分，這些模型可以使用更少的資源，同時仍然提供出色的性能。

2.檢索增強生成(RAG)系統

檢索增強生成(RAG)系統是當前LLM領域的一個非常熱門的話題。這個概念提出了一個問題：當可以簡單地使LLM從外部源檢索所需的數據時，為什么要使用更多的數據訓練LLM?然后，這些數據被用來生成最終答案。

RAG系統通過在生成過程中從大型外部數據庫檢索相關信息來增強LLM。這種集成允許模型訪問并整合最新的和特定領域的知識，從而提高其準確性和相關性。LLM的生成能力與檢索系統的精度相結合，產生了一個強大的混合模型，該模型能夠在保持與外部數據源同步的同時生成高質量的響應。

3.元學習

元學習方法使LLM能夠學習如何學習，從而使它們能夠迅速適應新任務和領域，而所需的訓練量極少。

元學習的概念取決于以下幾個關鍵概念：

小樣本學習：通過小樣本學習訓練LLM理解和執行新任務，只需幾個例子就可以理解和執行新任務，從而大幅減少了有效學習所需的數據量。這使得它們在處理各種場景時具有高度的通用性和高效性。

自監督學習：LLM使用大量未標記的數據來生成標簽并學習表示。這種形式的學習允許模型創建對語言結構和語義的豐富理解，然后針對特定應用進行微調。

強化學習：在這種方法中，LLM通過與環境互動并接受獎勵或懲罰形式的反饋來學習。這有助于模型優化它們的行為，并隨著時間的推移改進決策過程。

結論

LLM是現代科技的奇跡。它們的功能復雜，規模龐大，并且具有開創性的進展。本文探討了這些非凡進步的未來潛力，從人工智能領域的早期開始，也深入研究了神經網絡和注意力機制等關鍵創新。

本文還研究了用于增強這些模型的多種策略，包括硬件的改進、內部機制的改進以及新架構的開發。到目前為止，希望人們對LLM及其在不久的將來的發展軌跡有了更清晰、更全面的了解。

原文標題：History and Future of LLMs，作者：Kevin Vu

鏈接：https://dzone.com/articles/history-and-future-of-LLMs。