大語言模型的Scaling Law被一些人視為「金科玉律」，但另一些人卻不以為意。前陣子，香港大學馬毅教授就公開宣稱，「如果相信只靠Scaling Law就能實現AGI，你該改行了」。

確實有很多模型不是單純靠資源的堆砌，而是憑借創新能力脫穎而出。驗證了一條不同于Scaling Law的道路——少即是多。

xLAM-1B就是如此，只有10億參數，但是在功能調用任務中表現優于更大規模的模型，包括OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。

它也因此被稱為「Tiny Giant」——小巨人！

憑借遠超預期的卓越性能，這個小模型或許會改變端側AI的格局。

西方將這種以弱勝強的故事稱之為「David-versus-Goliath」（大衛迎戰歌利亞），這源于一個圣經故事——大衛與巨人歌利亞作戰時還是個孩子，他不像歌利亞那樣穿著盔甲，他撿了一塊石頭，放在投石器里。把石頭甩出去，擊中歌利亞的額頭，擊倒了這個巨人。

科技媒體Venturebeat在報道這個小模型時，就將之比喻為人工智能領域的「大衛迎戰歌利亞」時刻。

我們最關心的一點是，xLAM-1B是如何做到的？

簡言之，這得益于在數據處理上的創新方法。其背后團隊開發了APIGen，這是一套自動化流程，可以生成高質量、多樣化且可驗證的數據集，用于訓練AI模型在函數調用任務中的表現。

論文地址：https://arxiv.org/pdf/2406.18518

小而強大：高效AI的力量

xLAM-1B最令人欣喜的在于，它不占地兒。因為模型規模小，所以適合設備上的應用。這對企業人工智能的影響是巨大的，它有可能使AI助手功能更強大、反應更靈敏，并且能在計算資源有限的智能手機或其他設備上本地運行。

訓練數據的質量和多樣性是支撐xLAM-1B強大性能的關鍵。APIGen自動數據生成流水線利用21個不同類別的3673個可執行API，對每個數據點進行了嚴格的三階段驗證：格式檢查、實際函數執行和語義驗證。

各種AI模型在不同評估指標下的性能對比圖。GPT-4-0125-Preview在總體準確性方面遙遙領先，而xLAM-7B等較小的模型在特定任務中表現出了競爭力，這對大模型總是表現更好的說法提出了挑戰

這種方法代表了人工智能發展戰略的重大轉變。

雖然許多公司都在競相建立越來越大的模型，但xLAM-1B所使用的方法表明，更智能的數據處理可以帶來更高效、更有效的人工智能系統。

通過關注數據質量而非模型大小，xLAM-1B提供了一個很好的例子，它可以用比競爭對手少得多的參數執行復雜的任務。

顛覆AI現狀：從LLM到SLM

這一突破的潛在影響絕不僅限于xLAM-1B這個模型的推出。

通過證明更小、更高效的模型可以與更大的模型競爭，xLAM-1B正在挑戰人工智能行業的主流觀點，作為小語言模型（SLM）的新軍，和一統江湖的大語言模型（LLM）開戰。

科技公司一直在爭相建立最大的大語言模型。例如，今年4月，Meta公司發布了擁有4000億參數的Llama 3，它所包含的參數數量是2022年OpenAI最初的ChatGPT模型的兩倍。

盡管尚未得到證實，但GPT-4估計擁有約1.8萬億個參數。

不過，在過去幾個月里，包括蘋果和微軟在內的一些最大的科技公司都推出了小語言模型。

這些模型的大小僅為LLM對應模型的一小部分，但在許多基準測試中，它們在文本生成方面可以與LLM相媲美，甚至更勝一籌。

6月10日，在蘋果公司的全球開發者大會上，發布了擁有約30億參數的蘋果智能模型。

4月底，微軟發布了其Phi-3 SLM系列，擁有38億到140億個參數。

在一系列測試中，微軟最小的模型Phi-3-mini與OpenAI的GPT-3.5（1750億個參數）不相上下，其表現也優于谷歌的Gemma（70億個參數）。

測試通過向模型提出有關數學、哲學、法律等方面的問題，評估了模型對語言的理解能力。

更有趣的是，擁有70億個參數的微軟Phi-3-small在許多基準測試中的表現都明顯優于GPT-3.5。

波士頓東北大學研究語言模型Aaron Müller并不驚訝SLM在某些功能上可以與LLM相提并論。

Müller說，「這是因為一味增加參數數量并不是提高模型性能的唯一方法，在更高質量的數據上進行訓練也能產生類似的結果。」

例如，微軟的Phi模型是在經過微調的「教科書質量」數據上訓練出來的，這些數據的風格更加一致，比LLM通常依賴的來自互聯網的高度多樣化文本更容易學習。

同樣，蘋果公司也在高質量、更復雜的數據集上訓練SLM。

Müller表示，更重要的是，SLM可以使語言模型的使用平民化。

迄今為止，人工智能的開發一直集中在幾家有能力部署高端基礎設施的大公司手中，而其他規模較小的公司和實驗室則不得不支付高昂的費用來獲得授權。

由于SLM可以在價格更低廉的硬件上輕松訓練，因此資源有限的人更容易獲得SLM。

SLM的興起正值LLM之間的性能差距迅速縮小，科技公司希望能在Scaling Law之外，探索其他性能升級途徑。

在4月份的一次活動中，OpenAI 的首席執行官Altman表示，他相信我們正處于大模型時代的末期。「我們將以其他方式讓模型變得更好。」

也就是說，經過精心策劃的SLM向構建可解釋性人工智能更近了一步。

對于像蘇黎世聯邦理工學院計算機科學研究員Alex Warstadt這樣的研究人員來說，SLM還能為一個長期存在的科學問題提供新的見解：兒童是如何用很少的文字數據就學會語言和思維的。

Warstadt和包括東北大學Müller在內的一批研究人員一起組織了BabyLM挑戰賽，參賽者要在小數據上優化語言模型訓練。

SLM不僅有可能揭開人類認知的新秘密，還有助于改進生成式人工智能。

在兒童13歲時，他們已經接觸了約1億個單詞，在語言方面比聊天機器人更勝一籌，但他們只能獲得0.01%的數據。

Warstadt說，雖然沒人知道是什么讓人類如此高效，但「在小規模上進行高效的類人學習，當擴展到LLM規模時，可能會帶來巨大的改進」。

重塑AI的未來：從云到設備

xLAM-1B展現出的端側AI的發展潛力，很可能標志著人工智能領域的重大轉變——挑戰「模型越大越好」的觀念，讓人工智能在消耗有限資源的條件下也能持續生長。

目前，由于所涉及模型的規模和復雜性，許多先進的人工智能功能都依賴于云計算。

如果像xLAM-1B這樣的較小模型也能提供類似的功能，就能讓更強大的人工智能助手直接在用戶的設備上運行，從而提高響應速度，并解決與基于云的人工智能相關的隱私問題。

隨著邊緣計算和物聯網設備的激增，對更強大的設備上人工智能功能的需求也將激增。

xLAM-1B的成功可能會催生新一輪的人工智能開發浪潮，其重點是創建為特定任務量身定制的超高效模型，而不是「樣樣通」的龐然大物。

這可能會帶來一個更加分布式的人工智能生態系統，在這個生態系統中，專業模型在設備網絡中協同工作，可能會提供更強大、反應更快、更能保護隱私的人工智能服務。

這一發展還能使人工智能能力民主化，讓較小的公司和開發人員無需大量計算資源就能創建復雜的人工智能應用。

此外，它還可以減少人工智能碳足跡，因為較小的模型在訓練和運行時所需的能源要少得多。

xLAM-1B給業界帶來的沖擊有很多，但有一點是顯而易見的：在人工智能的世界里，大衛剛剛證明了他不僅可以與歌利亞競爭，還有可能將其淘汰。人工智能的未來可能不在被巨頭所操控的云端，而是在你自己手中。