起猛了！小扎又又又帶著他的開源大模型走來了！
Meta Connect 上，擁有視覺能力的 Llama 3.2推出！這是該大模型家族首個開源的多模態(tài)模型。
圖片
Llama 3.2 包括小型和中型模型（參數(shù)為 11B 億和 90B 億），以及更輕量化的僅文本模型（參數(shù)為 1B和 3B），扎克伯格稱其為“能運行在設(shè)備上的最佳模型”，并透露未來將在眼鏡設(shè)備上使用。
與其前身一樣，Llama 3.2 的 1B 和 3B 模型支持 128K 的上下文長度，在端側(cè)模型中可謂遙遙領(lǐng)先。根據(jù)Meta透露，這些模型在發(fā)布當天就已支持高通（Qualcomm）和聯(lián)發(fā)科（MediaTek）硬件，并針對 Arm 處理器進行了優(yōu)化。
Meta 還首次分享了官方的 Llama stack 發(fā)行版本，以便開發(fā)者可以在各種環(huán)境中使用這些模型，包括本地、設(shè)備端、云端和單節(jié)點。
Llama 3.2 模型可以在 llama.com 和 Hugging Face 上以及 Meta 的合作平臺上下載。還能通過智能助手Meta AI，試用模型的多模態(tài)能力。
Hugging Face 地址：
https://huggingface.co/meta-llama
最后扎克伯格再次秀了一把開源情懷，他提到，閉源模型們試圖降低價格以保持與Llama的競爭優(yōu)勢。然而，“開源已經(jīng)是、并將繼續(xù)是最具成本效益、可定制、可信且高性能的選擇。我們已經(jīng)到達了行業(yè)的一個拐點，它開始成為行業(yè)標準，可以稱其為 AI 領(lǐng)域的 Linux。”
1.媲美GPT4o-mini，開源視覺模型火力十足
Meta 在兩個月前發(fā)布了 Llama 3.1，至今該模型已實現(xiàn) 10 倍的增長。
扎克伯格表示：“Llama 繼續(xù)快速進步，它正在實現(xiàn)越來越多的功能。”
現(xiàn)在，最大的兩個 Llama 3.2 模型（110 億和 900 億參數(shù)）有了視覺能力，能夠理解圖表和圖形、為圖像生成標題以及識別周圍的環(huán)境。例如，用戶可以詢問他們的公司在哪個月取得了最佳銷售成績，模型將基于現(xiàn)有的圖表推理出答案。
根據(jù)Meta的評估，Llama 3.2 視覺模型在圖像識別和一系列視覺理解任務(wù)上與領(lǐng)先的基礎(chǔ)模型 Claude 3 Haiku 和 GPT4o-mini 相媲美。
圖片
AI大神 Jim Fan 帶來了一手的新鮮實測，“我剛剛調(diào)出了 Llama-3.2-11B (vision) 的視覺語言基準測試數(shù)據(jù)。令人驚訝的是，整個開源社區(qū)在輕量級模型方面并不落后！”
圖片
圖片
Llama 3.2的超強能力也讓許多大神自覺“手癢”。已經(jīng)有人連夜搓了基于其視覺能力的開源工具出來，效果驚艷，草圖也能秒變APP。
圖片
2.Llama 3.2：視覺模型背后的技術(shù)細節(jié)
作為首批支持視覺任務(wù)的 Llama 模型，11B 和 90B 模型采用了全新的模型架構(gòu)，以支持圖像推理任務(wù)。
Meta技術(shù)報告中提到，為了支持圖像輸入，他們訓練了一組適配器權(quán)重，將預訓練的圖像編碼器與預訓練的語言模型集成。
該適配器由一系列交叉注意力層組成，將圖像編碼器的表示傳遞給語言模型。在適配器訓練過程中，我們在圖文配對數(shù)據(jù)上訓練，以對齊圖像表示和語言表示。適配器訓練期間，我們更新了圖像編碼器的參數(shù)，但故意不更新語言模型的參數(shù)，這樣可以保留語言模型的文本處理能力，方便開發(fā)者將其作為 Llama 3.1 模型的替代品。
Llama 3.2的訓練流程包括多個階段，從預訓練的 Llama 3.1 文本模型開始。首先，Llama添加了圖像適配器和編碼器，然后在大規(guī)模噪聲圖文配對數(shù)據(jù)上進行預訓練。接著在中等規(guī)模、高質(zhì)量的領(lǐng)域內(nèi)及知識增強的圖文配對數(shù)據(jù)上進行訓練。
在后續(xù)訓練中，Llama團隊采用了與文本模型類似的方式，進行多輪對齊，包括監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化。
使用 Llama 3.1 模型對領(lǐng)域內(nèi)的圖像生成和擴展問答，并利用獎勵模型對所有候選答案進行排序，以提供高質(zhì)量的微調(diào)數(shù)據(jù)。此外，Llama 3.2還加入了安全防護數(shù)據(jù)，確保模型在安全性高的同時保持有用性。
3.小扎：Meta AI 將成為全球第一的智能助手
Llama 3.2 的橫空出世，使得 Meta AI 擁有了“聲音”。
該模型將在 WhatsApp、Messenger、Facebook 和 Instagram 上以明星語音響應(yīng)語音或文本命令。Meta AI 還可以對聊天中分享的照片做出回復，并添加、刪除或更改圖像以及添加新的背景。Meta 表示，它還在嘗試為 Meta AI 開發(fā)新的翻譯、視頻配音和唇同步工具。
圖片
扎克伯格在演講中表示：“我認為語音將比文本更自然地與 AI 進行交互，它確實要好得多。”
扎克伯格開源的底氣，就在于他們的商業(yè)模式并不依靠獲得模型訪問權(quán)而營利，但是他已經(jīng)將應(yīng)用視為 Meta 的護城河。
現(xiàn)在，Meta AI 月活躍用戶接近5億，日活用戶也以突破4000萬大關(guān)。
扎克伯格吹噓說，Meta AI 正在成為全球使用最廣泛的助手——“可能已經(jīng)做到了。”
參考鏈接：https://venturebeat.com/ai/meta-llama-3-2-vision-models-to-rival-anthropic-openai/
