成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據不夠?Meta剛剛發布的Llama 3.3正好拿來搞定!

原創 精選
人工智能
隨著對 GPT-4.5 的猜測愈演愈烈,Llama 3.3 果斷介入以滿足開發人員的即時需求。憑借其革命性的合成數據生成方法和成本效益,很明顯,Llama 3.3 不僅填補了空白,而且樹立了新標準。

編輯 | 言征

出品 | 51CTO技術棧(微信號:blog51cto)

7日凌晨,Meta 推出了 Llama 3.3。雖然參數沒有太高,只有700億參數,但與之前開源的Llama 3.1 4050億參數模型性能相當,而推理、部署成本卻降低了很多。

例如,輸入成本降低了10倍,輸出成本降低了近5倍。

此外,這款多語言 LLM,旨在重新定義 AI 在合成數據生成中的作用。Llama 3.3 擁有 700 億個參數,其性能與之前的 405B 型號一樣,但針對效率和可訪問性進行了優化。

圖片圖片

其多語言輸出支持多種語言,包括印地語、葡萄牙語和泰語,使世界各地的開發人員能夠為專門的 AI 模型創建自定義數據集。

“隨著我們繼續探索新的后訓練技術,今天我們發布了 Llama 3.3——一種新的開源模型,它在基于文本的使用案例(例如合成數據生成)中提供領先的性能和質量,而推理成本只是其中的一小部分,”Meta 在 X 上分享道。

1.推動合成數據的生成

開發人員現在可以使用其擴展的 128k 令牌上下文長度來生成大量高質量的數據集,從而解決隱私限制和資源限制等挑戰。

Meta 的 AI 主管 Yann LeCun 此前表示,這種能力可以在低資源語言中實現創新,印度企業家 Nandan Nilekani 也表達了同樣的觀點。“印度應該專注于快速構建小型的、特定于用例的模型,”Nilekani 說,并強調了 Llama 在為印度語模型生成定制訓練數據方面的關鍵作用。

這種方法的成功在 Sarvam AI 的 Sarvam 2B 等項目中顯而易見,它通過利用 Llama 生成的合成數據,在 Indic 任務中優于大型模型。

Meta 的 ML 工程師 Hamid Shojanazeri 表示,合成數據生成解決了收集真實世界數據集成本太高或不可行的領域的關鍵瓶頸。“合成數據對于在隱私敏感領域或資源匱乏的語言中推進 AI 至關重要,”他補充道。憑借其 RLHF 調優和監督微調,Llama 3.3 為需要高精度的任務生成指令對齊的數據集。

像 Sarvam AI 和 Ola Krutrim 這樣的印度初創公司已經從 Llama 的能力中受益。Sarvam AI 在 2 萬億個合成 Indic 代幣上訓練的 2B 模型展示了這些數據如何有效地訓練更小的專用模型,同時保持高性能。

“如果你看一下印度語言中的 1000 億個令牌,我們用了一種聰明的方法來創建合成數據,以使用 Llama 3.1 405B 構建這些模型。我們在印度的 1024 臺 NVIDIA H100 上訓練了模型,只用了 15 天,“Sarvam AI 首席執行官 Vivek Raghavan 在接受 AIM 采訪時說。

同樣,Llama 3.3 的多語言支持和可擴展性使其成為彌合代表性不足的語言數據鴻溝不可或缺的工具。

Llama 3.3 支持合成數據生成的能力超越了小眾用例,促進了開發人員、教育工作者和企業的廣泛采用。“通過降低生成高質量訓練數據的成本,Llama 加速了全球創新,”Meta 生成式 AI 副總裁 Ahmad Al-Dahle 說。

圖片圖片

隨著對 GPT-4.5 的猜測愈演愈烈,Llama 3.3 果斷介入以滿足開發人員的即時需求。憑借其革命性的合成數據生成方法和成本效益,很明顯,Llama 3.3 不僅填補了空白,而且樹立了新標準。

“我的合成數據成本下降了 30 倍,”KissanAI 的聯合創始人 Pratik Desai 在 X 上說。

2.Llama3.3:后訓練微調

這里簡單介紹一下Llama3系列的模型發布版本和節奏。大家就能理解Llama3.3-70B-Instruct在Llama系列的地位和目標。

目前,Llama3系列包含了4個不同的版本,分別是2024年4月份發布的Llama3系列、2024年7月份發布的Llama3.1系列、2024年9月份發布的Llama3.2系列以及2024年12月初發布的這個3.3系列。

但是,其實Llama3和Llama3.1算是比較正常的大版本節奏,因為這兩個系列都包含了最小80億參數,最大700億以及4050億參數規模的多個不同版本模型。

而Llama3.2系列其實只發布了1B和3B的小規模純文本語言模型以及11B和90B的多模態版本,基本上算是Llama3.1的補充。

本次發布的Llama3.3-70B-Instruct官方也介紹說是后訓練技術的迭代,這意味著其基座模型可能還是Llama3.1-70B,只是用不同的后訓練或者指令微調技術迭代獲得的。

3.為 Llama 4 奠定基礎

Llama 3.3 的發布完全符合 Meta 的長期 AI 戰略。正如扎克伯格在 Meta 的第三季度財報電話會議上透露的那樣,即將于 2025 年初推出的 Llama 4 將引入“新模式、更強的推理和更快的功能”。這表明,在 Llama 3.3 中改進的合成數據生成功能在未來的迭代中可能會變得更加強大。

Meta 的副總裁 Ragavan Srinivasan 最近暗示了未來 Llama 模型“基于內存的編碼和跨模態支持應用程序”的進步。Llama 3.3 的合成數據功能建立的強大框架可能是這些發展不可或缺的一部分。通過使開發人員能夠生成特定領域的訓練數據集,Meta 將自己定位為私營和公共部門創新的關鍵推動者。

未來的 Llama 版本可能會支持更廣泛的語言和專業用例。隨著合成數據生成成為 AI 開發的核心,Llama Guard 3 等工具和增強的標記化方法將確保安全、負責任地使用。

開源地址:https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct

參考鏈接:https://analyticsindiamag.com/ai-origins-evolution/fine-tuning-is-dead-long-live-reinforcement-fine-tuning/

想了解更多AIGC的內容,請訪問:

51CTO AI.x社區

http://www.ekrvqnd.cn/aigc/

責任編輯:武曉燕 來源: 51CTO技術棧
相關推薦

2025-05-28 18:41:30

AI視頻生成

2024-05-27 09:01:42

Llama 3大型語言模型人工智能

2024-07-25 10:31:33

2024-06-04 08:50:35

2021-11-07 19:06:57

爬蟲網斷JS

2024-04-19 07:55:57

Llama 3模型人工智能開源

2023-10-09 12:36:58

2024-07-30 13:48:37

2023-02-28 07:03:09

AIMeta大型語言

2024-04-19 10:32:08

2011-01-26 09:37:49

LibreOffice

2023-08-30 19:06:58

2022-03-14 09:50:29

3D技術建模

2024-07-29 09:20:00

AI模型

2023-08-05 13:56:03

數據音樂

2024-01-29 11:56:04

模型訓練

2018-06-15 10:41:12

OpenStack裸機管理大規模裸機管理

2025-06-12 09:37:30

2025-01-26 09:00:00

AI算力模型
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产高清一区二区三区 | av一级| 日韩中文在线 | 国产va | 中文精品视频 | 日韩成人在线播放 | 人人九九精| 99精品视频免费观看 | av在线播放网站 | 午夜午夜精品一区二区三区文 | 瑞克和莫蒂第五季在线观看 | 日本特黄a级高清免费大片 特黄色一级毛片 | 91国内视频在线 | 美女国内精品自产拍在线播放 | 日韩和的一区二区 | 久久国产精品亚洲 | 亚洲精品成人 | 国产在线一区观看 | 国产在线拍偷自揄拍视频 | 成人网视频 | 性色av一区二区三区 | 国产精品乱码一区二三区小蝌蚪 | 超碰在线播 | 能免费看的av | 久久久人 | 91精品久久久久久久久中文字幕 | 色婷婷久久久亚洲一区二区三区 | 免费看国产一级特黄aaaa大片 | 91在线观看网址 | 久久精品国产精品青草 | 中文字幕国产精品视频 | 亚洲一区二区三区在线 | 久久机热 | a在线v| 国产 91 视频| 久久在线 | 日韩一区二区免费视频 | 久久国产精品72免费观看 | 亚洲一区二区免费看 | 成人在线看片 | 精品九九|