埃隆·馬斯克（Elon Musk）的初創(chuàng)公司xAI開源了其第一個大型語言模型（LLM）Grok。

現在使任何其他企業(yè)家、程序員、公司或個人能夠接受Grok的權重——模型的人工“神經元”或軟件模塊之間的連接強度，允許模型做出決策并接受輸入并以文本形式提供輸出——以及其他相關文檔，并將模型的副本用于他們想要的任何內容，包括用于商業(yè)應用。

“我們正在發(fā)布我們的大型語言模型Grok-1的基本模型和網絡架構，”該公司在一篇博客文章中宣布。“Grok-1 是一個 3140 億參數的專家混合模型，由 xAI 從頭開始訓練。”

有興趣的人可以在 Grok 的 Github 頁面上或通過 torrent 鏈接下載代碼。Hugging Face 還在這里添加了一個快速下載實例。

Grok 的開源意味著什么

參數是指控制模型的權重和偏差——參數越多，通常模型越先進、越復雜、性能越好。Grok 擁有 3140 億個參數，遠遠領先于 Meta 的 Llama 2（700 億個參數）和 Mistral 8x7B（120 億個參數）等開源競爭對手。

Grok 是在 Apache 許可證 2.0 下開源的，該許可證允許商業(yè)使用、修改和分發(fā)，盡管它不能被注冊為商標，并且用戶不會因此而獲得任何責任或保證。此外，他們必須復制原始許可證和版權聲明，并說明他們所做的更改。

Grok 的架構于 2023 年 10 月使用 JAX 和 Rust 上的自定義訓練堆棧開發(fā)，融合了神經網絡設計的創(chuàng)新方法。該模型將 25% 的權重用于給定的token，這是一種提高其效率和有效性的策略。

Grok 最初于 2023 年 11 月作為專有或“閉源”模型發(fā)布，到目前為止，它只能在馬斯克獨立但相關的社交網絡 X（前身為 Twitter）上訪問，特別是通過 X Premium+ 付費訂閱服務，每月收費 16 美元或每年 168 美元。

但是，Grok 的發(fā)布并未包含其訓練數據的完整語料庫。這對使用模型來說并不重要，因為它已經被訓練過了，但它不允許用戶看到它從中學到了什么——大概是用戶在 X 上的文本帖子（xAI 博客文章不透明地將其描述為“在大量文本數據上訓練的基本模型，未針對任何特定任務進行微調。

它也不包括與X上可用的實時信息的任何連接，馬斯克最初將其吹捧為Grok相對于其他LLM的主要屬性。為此，用戶仍然需要訂閱 X 上的付費版本。

不僅僅是一項技術舉措，更是一項商業(yè)和公關策略

旨在與馬斯克于 2018 年共同創(chuàng)立并與之分道揚鑣的 OpenAI 制造的 ChatGPT 相媲美，現在與之競爭，Grok 以意為“理解”的俚語命名，并被描述為“以銀河系漫游指南為藍本的人工智能”，這是英國作家道格拉斯·亞當斯 （Douglas Adams） 于 1970 年代開創(chuàng)性的廣播劇和諷刺科幻系列叢書（2005 年被改編成一部主要電影）。

馬斯克將 Grok 定位為 ChatGPT 和其他領先的 LLM 的更幽默和未經審查的版本，鑒于對 AI 審查制度的抱怨和谷歌 Gemini 令人尷尬的種族混亂圖像生成和可疑的意識形態(tài)立場，這一立場在用戶中具有新的吸引力（Gemini 至少在一個例子中暗示，馬斯克的推文可能與納粹領導人阿道夫·希特勒一樣對社會有害).當然，Gemini受到了馬斯克和其他有影響力的科技領袖的強烈批評，包括a16z聯(lián)合創(chuàng)始人和網絡先驅馬克·安德森（Marc Andreessen）。

Grok 的開源顯然也是馬斯克在訴訟和對 OpenAI 的一般批評中有用的意識形態(tài)立場，他最近起訴了 OpenAI，指責他的前公司放棄了其“創(chuàng)始協(xié)議”，以非營利組織的形式運營。OpenAI至少在輿論法庭上發(fā)布了為其辯護的電子郵件，表明馬斯克意識到并可能支持其轉向專有的營利性技術。

X 上的 AI 社區(qū)已經對這個版本做出了好奇和興奮的反應。值得注意的是，技術界指出了該模型在前饋層中使用GeGLU及其歸一化方法，以致 OpenAI 的員工也發(fā)布了他們對該模型的興趣。

因此，Grok 的發(fā)布可能會給所有其他 LLM 提供商帶來壓力，尤其是其他競爭對手的開源提供商，要求他們向用戶證明他們的優(yōu)勢。

本文轉載自 ??AI技術和商業(yè)思維?? ，作者： 學習中的Leo

原文鏈接：??https://mp.weixin.qq.com/s/T4iQLt4mbS5CPpDHa38OAw??????