什么是混合專家模型MoE呢？混合專家模型MoE是一種能讓大型語言模型（LLM）質(zhì)量變好的技術(shù)。它主要由兩部分組成：專家——現(xiàn)在每個(gè)前饋神經(jīng)網(wǎng)絡(luò)（FFNN）層都有好多個(gè)“專家”，每次可以用其中一部分。“專家”一般也是前饋神經(jīng)網(wǎng)絡(luò)。門控網(wǎng)絡(luò)——它能決定把哪些tokens送到哪些專家那兒。在帶混合專家模型MoE的大型語言模型的每一層，都能看到這些有點(diǎn)專門作用的專家:要知道，這里的‘專家’可不是像‘心理學(xué)’‘生物學(xué)’這種特定...

2024，中國(guó)大模型行業(yè)落地究竟怎么樣了？回顧2024，生成式AI浪潮洶涌，但核心驅(qū)動(dòng)力卻始終沒有變化，依舊源自于“人”不懈推動(dòng)。特別是過去一年，行業(yè)內(nèi)涌現(xiàn)出眾多上下求索的創(chuàng)新先鋒，他們對(duì)中國(guó)人工智能落地產(chǎn)生了深遠(yuǎn)影響。透過這些人物群像，我們可以窺見2024中國(guó)AI落地進(jìn)程的生動(dòng)面貌。他們其中，不乏互聯(lián)網(wǎng)業(yè)內(nèi)的精英，敏銳捕捉到前沿技術(shù)的落地痛點(diǎn)，通過出色的產(chǎn)品表現(xiàn)，贏得公眾的聲聲喝彩。更有佼佼者走出大廠，為信...

編者按：每天我們都在與各種格式的文檔打交道，如何快速準(zhǔn)確地從這些文檔中提取有價(jià)值的信息，如何讓AI理解文檔中的表格、公式和圖表，成為擺在我們面前的一道難題。特別是對(duì)于從事數(shù)據(jù)分析、學(xué)術(shù)研究或法律工作的專業(yè)人士來說，手動(dòng)處理和整理這些文檔不僅耗時(shí)耗力，還容易出錯(cuò)。一份技術(shù)報(bào)告中的復(fù)雜數(shù)學(xué)公式，一篇論文中的多層嵌套表格，或是一份合同中的關(guān)鍵條款，都需要我們投入大量精力去理解和提取。本文深入剖析了當(dāng)前...

文章鏈接：https:arxiv.orgpdf2501.06187項(xiàng)目鏈接：https:snapresearch.github.ioopensetvideopersonalization亮點(diǎn)直擊提出了VideoAlchemist，這是一種支持前景對(duì)象和背景的多主體、開放集合個(gè)性化的新型視頻生成模型。精心構(gòu)建了大規(guī)模訓(xùn)練數(shù)據(jù)集，并引入訓(xùn)練技術(shù)以降低模型過擬合。引入了MSRVTTPersonalization，這是一種新的視頻個(gè)性化基準(zhǔn)，提供多種條件模式并能準(zhǔn)確測(cè)量主體保真度。總結(jié)速覽解決的問題現(xiàn)有視頻個(gè)性化生成...

編者按：當(dāng)AIAgent執(zhí)行長(zhǎng)期任務(wù)時(shí)，如何有效管理和存儲(chǔ)它們的"記憶"？向量數(shù)據(jù)庫(kù)真的能滿足所有AIAgent的記憶需求嗎？我們今天為大家?guī)淼奈恼轮校髡咧赋霎?dāng)前主流的向量數(shù)據(jù)庫(kù)雖然能夠有效處理對(duì)話記憶，但無法完全滿足AgenticAI系統(tǒng)在長(zhǎng)期任務(wù)執(zhí)行過程中的多樣化記憶需求。文章首先介紹了AgenticAI系統(tǒng)的基本概念，以營(yíng)銷案例說明了其任務(wù)分解和執(zhí)行能力。隨后深入探討了向量數(shù)據(jù)庫(kù)在管理AI記憶方面的應(yīng)用及其局限性，特別...

推薦系統(tǒng)自1992年基于用戶的協(xié)同過濾算法誕生以來，經(jīng)歷了一波又一波的革新大潮，發(fā)展至今，已經(jīng)形成了一套體系完善，理論嚴(yán)密的技術(shù)領(lǐng)域。隨著越來越多的基于深度學(xué)習(xí)的推薦系統(tǒng)模型誕生，該領(lǐng)域關(guān)于準(zhǔn)確率的追求似乎已經(jīng)不再吸引人們的眼球。相反，越來越多的人開始關(guān)注其他熱點(diǎn)技術(shù)，比如大模型算法。2023年，來自澳大利亞RMIT大學(xué)的YueqingXuan等研究人員在arXiv上公布了一篇題為MoreIsLess:WhenDoRecommendersUnderperform...

筆者在前面預(yù)訓(xùn)練了一個(gè)多模態(tài)大模型Reyes，詳情見《??【多模態(tài)&LLM】Reyes：一個(gè)從0到1開始訓(xùn)練的多模態(tài)大模型（技術(shù)報(bào)告）??》。本文將為Reyes增加一個(gè)batch推理方式，提高Reyes的推理速度。Reyes8B開源地址：modelscope權(quán)重下載地址：https:modelscope.cnmodelsyujunhuinlpReyes8Bgithub：https:github.comyujunhuicsReyes使用方式將本倉(cāng)庫(kù)中的??modelingreyes.py???文件替換modelscrope下載的??modelingreyes.py...

01、概述近年來，隨著多模態(tài)模型（LMMs）在文本和圖像處理任務(wù)上的進(jìn)步，視頻處理領(lǐng)域卻顯得有些“姍姍來遲”。與單一靜態(tài)數(shù)據(jù)相比，視頻集成了時(shí)間和空間維度的復(fù)雜性，對(duì)計(jì)算資源的要求更高。然而，現(xiàn)有方法通常沿用圖像處理模型的架構(gòu)，或依賴簡(jiǎn)單的均勻幀采樣，這種方式難以有效捕捉視頻中的動(dòng)態(tài)與時(shí)間模式。此外，訓(xùn)練大規(guī)模視頻模型耗費(fèi)極大的計(jì)算資源，使得實(shí)驗(yàn)和創(chuàng)新受限。為了解決這些問題，MetaAI和斯坦福大學(xué)的研究...

01、概述近年來，語音合成技術(shù)取得了顯著進(jìn)展，尤其是在實(shí)現(xiàn)實(shí)時(shí)、自然流暢的語音生成方面。然而，在真正的應(yīng)用中，諸如延遲、發(fā)音準(zhǔn)確度、說話人一致性等問題仍然困擾著行業(yè)，尤其是在需要高響應(yīng)性的流媒體應(yīng)用中。這些技術(shù)難題在處理復(fù)雜語言輸入時(shí)尤為突出，比如繞口令或多音字，這超出了現(xiàn)有模型的處理能力。為了應(yīng)對(duì)這些挑戰(zhàn)，阿里巴巴的研究人員推出了CosyVoice2，一款針對(duì)語音合成技術(shù)難題的升級(jí)版模型，旨在有效解決這...

01、概述近年來，隨著大型語言模型（LLMs）的興起，自然語言處理技術(shù)取得了飛速發(fā)展。從GPT到Llama，這些前沿的語言模型在各個(gè)領(lǐng)域中展現(xiàn)出了令人驚嘆的能力。然而，訓(xùn)練這些頂級(jí)模型的過程卻充滿了挑戰(zhàn)。以Llama3.1405B為例，其訓(xùn)練過程中需要約3900萬個(gè)GPU小時(shí)，相當(dāng)于4500年單GPU計(jì)算時(shí)間。為了在幾個(gè)月內(nèi)完成這樣的訓(xùn)練，工程師們采用了4D并行化的策略，跨越數(shù)據(jù)、張量、上下文和管道等多個(gè)維度進(jìn)行優(yōu)化。這種方法雖然高效...

編輯伊風(fēng)月初，騰訊被美國(guó)國(guó)防部列進(jìn)了“中國(guó)軍工企業(yè)清單”（1260H清單）已經(jīng)夠離譜了！沒想到剛過去10天，更離譜的事情出現(xiàn)了：大模型公司也登上了美國(guó)黑名單！昨晚深夜，美國(guó)商務(wù)部工業(yè)和安全局（BIS）修訂了實(shí)體清單，其中大模型六小虎之一的智譜公司赫然在列。圖片把手伸向大模型公司，美國(guó)官方也給定了理由：“十個(gè)實(shí)體因其通過發(fā)展和整合先進(jìn)的人工智能研究來推動(dòng)中國(guó)的軍事現(xiàn)代化而被列入清單。”令人驚訝的是，這十家...

在人工智能的持續(xù)演進(jìn)中，多模態(tài)大語言模型（MLLMs）已成為核心研究領(lǐng)域之一，其在整合語言和視覺信息方面的潛力備受關(guān)注。李飛飛、謝賽寧團(tuán)隊(duì)的最新研究成果猶如一顆璀璨的新星，照亮了MLLM在空間智能領(lǐng)域的探索之路，引發(fā)了學(xué)界和業(yè)界的廣泛關(guān)注。本文將深入剖析該團(tuán)隊(duì)的研究，詳細(xì)闡述MLLM在空間智能方面的突破與挑戰(zhàn)，一同探索MLLMs在視覺空間智能方面的進(jìn)展與難題。1.引言視覺空間智能在人類的日常生活中，視覺空間智能起...

1.算法介紹樸素貝葉斯是一種基于貝葉斯定理的分類算法,廣泛應(yīng)用于文本分類、垃圾郵件過濾、情感分析等領(lǐng)域。它是一種簡(jiǎn)單但非常有效的分類方法,特別適用于高維度特征空間的分類問題。樸素貝葉斯分類器的"樸素"來源于它對(duì)特征之間獨(dú)立性的假設(shè)。盡管這個(gè)假設(shè)在現(xiàn)實(shí)中往往不成立,但該算法在許多實(shí)際應(yīng)用中仍然表現(xiàn)出色。2.算法原理3.案例分析我們使用著名的鳶尾花(Iris)數(shù)據(jù)集來演示樸素貝葉斯分類器的應(yīng)用。首先建立樸素貝葉斯分...

1.MiniMax01:ScalingFoundationModelswithLightningAttention我們推出了MiniMax01系列，包括MiniMaxText01和MiniMaxVL01。這兩款產(chǎn)品不僅性能可與頂尖模型相媲美，而且在處理更長(zhǎng)文本上下文方面具備卓越能力。其核心技術(shù)是LightningAttention及其高效的擴(kuò)展方法。為充分發(fā)揮計(jì)算能力，我們將其與混合專家（MoE）技術(shù)相結(jié)合，打造出擁有32個(gè)專家模塊、共計(jì)4560億參數(shù)的模型，每個(gè)Token激活459億參數(shù)。針對(duì)MoE和閃電注意力機(jī)制，...

在機(jī)器學(xué)習(xí)中，損失函數(shù)是用來衡量模型預(yù)測(cè)值與真實(shí)值之間差距的一個(gè)函數(shù)。它在模型訓(xùn)練過程中起著至關(guān)重要的作用，因?yàn)橥ㄟ^最小化損失函數(shù)，模型能夠調(diào)整其參數(shù)，從而使得預(yù)測(cè)結(jié)果越來越接近真實(shí)值。為了幫助理解這一點(diǎn)，我們將以均方誤差（MSE）為例，詳細(xì)講解什么是損失函數(shù)，以及它在實(shí)際應(yīng)用中的作用。什么是損失函數(shù)？損失函數(shù)是一個(gè)用于評(píng)估模型預(yù)測(cè)準(zhǔn)確性的數(shù)學(xué)函數(shù)。具體來說，損失函數(shù)通過對(duì)比模型的預(yù)測(cè)值與真實(shí)值，...

在近日的Nvidia發(fā)布會(huì)上，CEO黃仁勛展示了一張令人印象深刻的指數(shù)型曲線，勾勒出人工智能（AI）技術(shù)的發(fā)展路徑。這張圖不僅體現(xiàn)了AI技術(shù)的過去、現(xiàn)在與未來，還為AI的應(yīng)用場(chǎng)景和發(fā)展階段提供了清晰的愿景。本文將結(jié)合這張圖表，解析AI技術(shù)的四個(gè)發(fā)展階段：感知智能（PerceptionAI）、生成式AI（GenerativeAI）、代理智能（AgenticAI）和物理智能（PhysicalAI）。1.感知智能：AI的起點(diǎn)感知智能是AI發(fā)展的第一階段，位于曲線的起...

AI指令的秘密：三個(gè)關(guān)鍵詞就能讓AI效果翻倍大多數(shù)人用AI的方式都太直接了。他們輸入問題，得到答案，就像在用計(jì)算器，這通常也能夠取得不錯(cuò)的效果。但有趣的是，僅僅加入幾個(gè)特定的關(guān)鍵詞，就能讓AI的回答質(zhì)量產(chǎn)生質(zhì)的飛躍。神奇的關(guān)鍵詞效應(yīng)我發(fā)現(xiàn)三個(gè)特別受歡迎的關(guān)鍵詞模式：1."roast"普通提示："幫我看看這段代碼有什么問題"roast提示："請(qǐng)用最犀利的方式roast一下這段代碼，指出所有可能的問題，不用顧及我的感受"或者是更...

在人工智能領(lǐng)域，Kimi作為一款自研的大模型產(chǎn)品，近期受到了廣泛的關(guān)注和討論。許多用戶和業(yè)內(nèi)人士都在探討，為何Kimi在實(shí)際應(yīng)用中的表現(xiàn)似乎超越了騰訊、百度、字節(jié)跳動(dòng)等大型科技公司的大模型。本文將從技術(shù)角度出發(fā)，分析Kimi的長(zhǎng)文本處理能力，并探討其背后的原因。基座大模型的發(fā)展路徑當(dāng)前，大多數(shù)廠商在基座大模型的開發(fā)上，選擇了OpenAI的路線，即通過增加模型參數(shù)規(guī)模和引入多模態(tài)來提升模型的推理能力。模型參數(shù)的增...

摘要文章圍繞LLMOps（大語言模型運(yùn)維）展開，詳細(xì)解析了企業(yè)如何使用大語言模型（LLMs），以及LLMOps在優(yōu)化LLM開發(fā)、部署和管理中的核心作用。文章首先介紹了提示詞工程（PromptEngineering）、檢索增強(qiáng)生成（RAG）和微調(diào)（Finetuning）等常見LLM應(yīng)用場(chǎng)景，并深入探討了這些方法的挑戰(zhàn)和局限性。隨后，通過對(duì)比MLOps和LLMOps，突出了后者在管理復(fù)雜模型生命周期中的獨(dú)特價(jià)值。文章還列舉了Agenta、Deeplake、MLflow、Dify和Heli...

隨著人工智能發(fā)展，大語言模型取得顯著成果，但距離人類水平的通用智能仍有差距。理解并解決大語言模型在實(shí)現(xiàn)通用智能過程中的關(guān)鍵問題，如具身性、符號(hào)接地等，對(duì)推動(dòng)人工智能邁向通用智能階段至關(guān)重要，這不僅能拓展AI應(yīng)用領(lǐng)域，還能深化對(duì)智能本質(zhì)的理解，為構(gòu)建更強(qiáng)大、更智能的系統(tǒng)奠定基礎(chǔ)。本文聚焦于大語言模型（LLMs）通向通用人工智能（AGI）的研究，探討了實(shí)現(xiàn)AGI的基礎(chǔ)原理，包括具身性、符號(hào)接地、因果關(guān)系和記憶...