編輯 | 言征

出品 | 51CTO技術棧（微信號：blog51cto）

7日凌晨，Meta 推出了 Llama 3.3。雖然參數沒有太高，只有700億參數，但與之前開源的Llama 3.1 4050億參數模型性能相當，而推理、部署成本卻降低了很多。

例如，輸入成本降低了10倍，輸出成本降低了近5倍。

此外，這款多語言 LLM，旨在重新定義 AI 在合成數據生成中的作用。Llama 3.3 擁有 700 億個參數，其性能與之前的 405B 型號一樣，但針對效率和可訪問性進行了優化。

圖片

其多語言輸出支持多種語言，包括印地語、葡萄牙語和泰語，使世界各地的開發人員能夠為專門的 AI 模型創建自定義數據集。

“隨著我們繼續探索新的后訓練技術，今天我們發布了 Llama 3.3——一種新的開源模型，它在基于文本的使用案例（例如合成數據生成）中提供領先的性能和質量，而推理成本只是其中的一小部分，”Meta 在 X 上分享道。

1.推動合成數據的生成

開發人員現在可以使用其擴展的 128k 令牌上下文長度來生成大量高質量的數據集，從而解決隱私限制和資源限制等挑戰。

Meta 的 AI 主管 Yann LeCun 此前表示，這種能力可以在低資源語言中實現創新，印度企業家 Nandan Nilekani 也表達了同樣的觀點。“印度應該專注于快速構建小型的、特定于用例的模型，”Nilekani 說，并強調了 Llama 在為印度語模型生成定制訓練數據方面的關鍵作用。

這種方法的成功在 Sarvam AI 的 Sarvam 2B 等項目中顯而易見，它通過利用 Llama 生成的合成數據，在 Indic 任務中優于大型模型。

Meta 的 ML 工程師 Hamid Shojanazeri 表示，合成數據生成解決了收集真實世界數據集成本太高或不可行的領域的關鍵瓶頸。“合成數據對于在隱私敏感領域或資源匱乏的語言中推進 AI 至關重要，”他補充道。憑借其 RLHF 調優和監督微調，Llama 3.3 為需要高精度的任務生成指令對齊的數據集。

像 Sarvam AI 和 Ola Krutrim 這樣的印度初創公司已經從 Llama 的能力中受益。Sarvam AI 在 2 萬億個合成 Indic 代幣上訓練的 2B 模型展示了這些數據如何有效地訓練更小的專用模型，同時保持高性能。

“如果你看一下印度語言中的 1000 億個令牌，我們用了一種聰明的方法來創建合成數據，以使用 Llama 3.1 405B 構建這些模型。我們在印度的 1024 臺 NVIDIA H100 上訓練了模型，只用了 15 天，“Sarvam AI 首席執行官 Vivek Raghavan 在接受 AIM 采訪時說。

同樣，Llama 3.3 的多語言支持和可擴展性使其成為彌合代表性不足的語言數據鴻溝不可或缺的工具。

Llama 3.3 支持合成數據生成的能力超越了小眾用例，促進了開發人員、教育工作者和企業的廣泛采用。“通過降低生成高質量訓練數據的成本，Llama 加速了全球創新，”Meta 生成式 AI 副總裁 Ahmad Al-Dahle 說。

圖片

隨著對 GPT-4.5 的猜測愈演愈烈，Llama 3.3 果斷介入以滿足開發人員的即時需求。憑借其革命性的合成數據生成方法和成本效益，很明顯，Llama 3.3 不僅填補了空白，而且樹立了新標準。

“我的合成數據成本下降了 30 倍，”KissanAI 的聯合創始人 Pratik Desai 在 X 上說。

2.Llama3.3：后訓練微調

這里簡單介紹一下Llama3系列的模型發布版本和節奏。大家就能理解Llama3.3-70B-Instruct在Llama系列的地位和目標。

目前，Llama3系列包含了4個不同的版本，分別是2024年4月份發布的Llama3系列、2024年7月份發布的Llama3.1系列、2024年9月份發布的Llama3.2系列以及2024年12月初發布的這個3.3系列。

但是，其實Llama3和Llama3.1算是比較正常的大版本節奏，因為這兩個系列都包含了最小80億參數，最大700億以及4050億參數規模的多個不同版本模型。

而Llama3.2系列其實只發布了1B和3B的小規模純文本語言模型以及11B和90B的多模態版本，基本上算是Llama3.1的補充。

本次發布的Llama3.3-70B-Instruct官方也介紹說是后訓練技術的迭代，這意味著其基座模型可能還是Llama3.1-70B，只是用不同的后訓練或者指令微調技術迭代獲得的。

3.為 Llama 4 奠定基礎

Llama 3.3 的發布完全符合 Meta 的長期 AI 戰略。正如扎克伯格在 Meta 的第三季度財報電話會議上透露的那樣，即將于 2025 年初推出的 Llama 4 將引入“新模式、更強的推理和更快的功能”。這表明，在 Llama 3.3 中改進的合成數據生成功能在未來的迭代中可能會變得更加強大。

Meta 的副總裁 Ragavan Srinivasan 最近暗示了未來 Llama 模型“基于內存的編碼和跨模態支持應用程序”的進步。Llama 3.3 的合成數據功能建立的強大框架可能是這些發展不可或缺的一部分。通過使開發人員能夠生成特定領域的訓練數據集，Meta 將自己定位為私營和公共部門創新的關鍵推動者。

未來的 Llama 版本可能會支持更廣泛的語言和專業用例。隨著合成數據生成成為 AI 開發的核心，Llama Guard 3 等工具和增強的標記化方法將確保安全、負責任地使用。

開源地址：https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct參考鏈接：https://analyticsindiamag.com/ai-origins-evolution/fine-tuning-is-dead-long-live-reinforcement-fine-tuning/

本文轉載自51CTO技術棧，作者：言征