就在剛剛，根據The Information的最新爆料，OpenAI即將發布一款全新的開源大語言模型。

雖然目前還不清楚，OpenAI是不是打算利用即將開源的模型，來搶占Vicuna或其他開源模型的市場份額。

但幾乎可以肯定的是，新模型的能力大概率無法與GPT-4甚至GPT-3.5相競爭。

畢竟，270億美元的估值也決定了，OpenAI最先進的模型將會被用于商業目的，盡管前兩個版本的GPT都是開源的。

對此，OpenAI的發言人沒有回應置評請求。

羊駝家族開源大爆發

十天前，谷歌的一份內部文件泄漏。在這篇名為《我們沒有護城河，OpenAI也沒有》的文章里，作者沉痛控訴了開源對于谷歌和OpenAI的沉重打擊。

的確，在這次軍備競賽中，谷歌和OpenAI似乎都不是贏家，因為開源社區正在吃掉屬于它們的「利益」。

ChatGPT一出，引爆了全球的LLM革命。然而，OpenAI不Open，很多公司和開發者只能看著干著急。

此時，Meta站出來發布了LLaMA，為全世界開發者謀了一把福利。

本來呢，Meta承諾的是LLaMA會對非商用的研究用例開源，可是誰能想到，僅在發布一周后，LLaMA的權重忽然在4chan上泄漏了，瞬間就引發了數千次下載。

這場「史詩級泄漏」，直接讓開源LLM領域變了天。短短幾周內，各種ChatGPT平替就以迅雷不及掩耳之勢呈爆炸式增長。

Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……簡直堪稱是「羊駝家族」大爆炸。

其實，早在羊駝之前，開源模型就曾破滅過OpenAI的野心。

當時，剛剛發布的Dall-E 2憑借著驚艷的文生圖效果，在網上引起了不小的轟動。

然而，當OpenAI還在試圖兜售API時，一款開源替代突然橫空出世——Stable Diffusion。

隨著Stable Diffusion的迅速崛起，Dall-E 2也很快就被開發者們拋在了腦后。

開源大模型，要顛覆硅谷大廠？

UC Berkeley的計算機教授Ion Stoica正是使用Meta的研究開發Vicuna的學者之一。

為了提高Vicuna的能力，Stoica和同事們正在努力增加模型中的計算數量，這將有助于處理涉及推理的任務，比如寫代碼。

開發Vicuna的是一個伯克利的團隊，每年的預算為數百萬美元，其中大約50萬美元來自包括微軟、谷歌和亞馬遜在內的上市公司。

UC Berkeley的計算機教授Ion Stoica表示，現在的免費AI模型，在性能上已經「相當接近」谷歌和OpenAI的專有模型了，毫無疑問，大多數開發者最終都會選擇免費模型。

一方面，開源模型可以讓開發者使用自己的數據來解決特定的問題。

另一方面，像Vicuna這種模型的訓練成本甚至可以低至幾百美元，而且還不用向大廠支付昂貴的使用費。

https://lmsys.org/blog/2023-03-30-vicuna/

如果Stoica的看法正確，開源AI必將顛覆谷歌、OpenAI、微軟等出售專有模型使用權的大廠的商業計劃。

Vicuna的質量和開源AI的寒武紀大爆發，讓谷歌工程師Luke Sernau警告同事，谷歌在努力追趕OpenAI時，太過關注專有軟件了。

如果免費、高質量的平替沒有使用限制，誰會去付費使用帶有條條框框的谷歌產品呢？開源AI的發展正在超越我們，谷歌應該在開源社區中建立自己的領導地位，并放棄對我們模型的部分控制。

這份備忘錄迅速在整個行業內引起了共鳴——即使Sernau或許高估了開源AI的能力，低估了它們的成本和風險，但大多數從業者都同意，Meta非常有可能從中獲益。

比如，Meta在內部會使用AI模型進行內容推薦和廣告定位，當開發者改進Meta的模型時，Meta就可以把這些改進納入自己內部的AI。

Meta CEO小扎對此籌謀已久。

4月，在他與分析師的一次電話會議中，他曾這樣談到公司的策略——

如果行業能夠在我們使用的基礎工具上達成標準化，那么我們就能從其他人的改進中受益，這樣會更好。

谷歌倒是沒有完全采用專有的方式來處理AI軟件。

早在2020年，谷歌就發布了一個開源語言模型T5，讓開發者可以構建能夠執行翻譯和摘要任務的軟件。隨后，谷歌又發布了一個更先進的Flan-T5。

但是，根據Stoica和其他從業者的說法，Meta發布的軟件能夠在谷歌模型的基礎上做出顯著改進，這讓開發者選擇Meta模型的可能性大大增加了。

不過，Stoica表示，谷歌在開源軟件方面仍有兩個優勢。

1. 如果谷歌利用其不向外部開放的用戶數據，模型在某些專業領域（如內容推薦）的表現可能會更好。

不過，谷歌發言人表示，公司并沒有在現有用戶數據上訓練其基礎模型。

2. 搜索公司在管理大規模計算機基礎設施方面的專長，意味著它能夠以更低的成本來運行模型，包括為云客戶提供服務。

與此同時，OpenAI在收集數百萬人與ChatGPT互動方式的數據上，已經搶得了先機，這會更有助于OpenAI改進AI軟件，更不用提它和微軟的合作協議。

開源的繁榮，是大廠的「施舍」？

不過，這種建立在開源基礎上的繁榮，是不穩定的。

目前大多數的開源，仍然依賴于資金雄厚的大公司發布的巨型模型。如果OpenAI和Meta決定關閉業務，繁榮的開源社區，可能就會變得蕭條。

比如，現在許多開源平替是基于Meta的LLaMA構建的。

而其他模型使用的是名為Pile的大型公共數據集，由開源非營利組織EleutherAI整理。

EleutherAI之所以存在，是因為OpenAI的開放性意味著一群開發者能夠逆向了解GPT-3是如何制作的，然后在空閑時間里創建自己的模型。

但一切都可能改變。

OpenAI已經不再Open，Meta也在考慮限制開源，防止初創公司利用開源代碼做壞事。

Meta AI的執行董事Joelle Pineau表示，現在向外部人員開放代碼是正確，但他并不確定，在未來五年內Meta還會采用相同的策略。

如果這種Close的趨勢繼續下去，那么不僅開源社區會被拋棄，下一代的AI突破也會重新回到那些最大、最不差錢的AI實驗室手中。

顯然，AI大模型的制造和使用方式的未來，正處于一個十字路口。

如果OpenAI曾經吝嗇，就不會有如今的開源盛況

其他人也在權衡，這種開源的自由競爭帶來的回報更大，還是風險更大。

就在Meta AI發布LLaMA的同時，Hugging Face推出了一個門禁機制，下載平臺上的模型之前，用戶必須申請訪問并獲得批準，這是為了限制那些有合法理由的人。

「我并不是一個開源的布道者，」Hugging Face的首席倫理科學家Margaret Mitchell說。「我能看到不開源的意義。」

大模型廣泛使用的一個弊端，就是可能造成AI色情產品的泛濫。

Mitchell曾在谷歌工作，并創立了AI道德團隊，她對于模型被濫用的風險十分了解。因此，她贊成Meta AI以有控制的方式發布模型。

同時，OpenAI也在關閉水龍頭。GPT-4發布時，并沒有公布架構（包括模型大小）、硬件、訓練計算、數據集構建、訓練方法等細節，理由是「鑒于像GPT-4這樣的大規模模型的競爭格局和安全影響」。

這種限制反應了OpenAI心態上的變化。聯合創始人兼首席科學家Ilya Sutskever表示，OpenAI過去的開放性是一個錯誤。

OpenAI的政策研究員Sandhini Agarwal說：「以前，如果某樣東西是開源的，也許一小群修理工會關心。但現在，整個環境已經改變。開源真的可以加速發展，導致競爭。」

時間倒回三年前，如果OpenAI在公布GPT-3的細節時，就秉持著同樣的原則，那就不會有EleutherAI的出現，也就不會有蓬勃的開源創新。

今天，EleutherAI在開源生態系統中發揮著舉足輕重的作用。Pile被用來訓練多個開源項目，包括Stability AI的StableLM。

但隨著GPT-4、5、6被鎖死，開源社區可能會再次被落在幾家大公司后面。

他們會困在上一代模型中，如果想取得進步，只能閉門造車。