“現(xiàn)在AI和數(shù)據(jù)處理密不可分，80%的企業(yè)可以利用ApacheNiFi輕松解決復(fù)雜的數(shù)據(jù)問題，快速完成場(chǎng)景建設(shè)。猶如花上百來(lái)塊錢在家享受一頓不亞于五星級(jí)西餐廳的法式大餐。對(duì)于全棧式的數(shù)據(jù)分析師或者數(shù)據(jù)應(yīng)用的Java研發(fā)工程師，NiFi讓其擺脫復(fù)雜的數(shù)據(jù)工程，而是將精力放在分析和應(yīng)用的創(chuàng)新之上。而NiFi的GUI也著實(shí)令人賞心悅目！”1.ApacheNiFi說(shuō)到數(shù)據(jù)平臺(tái)，很多人的第一反應(yīng)要么是ETLELT，要么是Spark或Hadoop，要么是Flink，要...

?從OmniGen的訓(xùn)練數(shù)據(jù)、模型設(shè)計(jì)與訓(xùn)練策略中深度了解多模態(tài)統(tǒng)一生成模型。今天詳細(xì)講講多模態(tài)大模型OmniGen之前有總結(jié)過(guò)一篇多模態(tài)大模型的研究趨勢(shì)，感興趣的小伙伴也可以具體看一下這篇介紹多模態(tài)大模型的文。?OmniGen就屬于統(tǒng)一視覺模型這個(gè)方向中，將多個(gè)特定任務(wù)轉(zhuǎn)化為具備通用能力的圖像生成統(tǒng)一模型；本篇來(lái)具體介紹OmniGen的細(xì)節(jié)，以及未來(lái)前瞻技術(shù)研究可能值得借鑒的部分。下面是一個(gè)快捷目錄。一、OmniGen簡(jiǎn)介二、...

?本文介紹大模型微調(diào)方法中的QLoRA。QLoRA由華盛頓大學(xué)UWNLP小組的成員于2023年提出發(fā)，旨在進(jìn)一步降低微調(diào)大模型的微調(diào)成本，因?yàn)閷?duì)于上百億參數(shù)量的模型，LoRA微調(diào)的成本還是很高。感興趣的小伙伴可以去閱讀一下原文：https:arxiv.orgpdf2305.14314模型介紹上圖為QLoRA的訓(xùn)練過(guò)程圖，QLoRA更多的是在工程上進(jìn)行了量化和優(yōu)化，從圖中可知，主要有4個(gè)部分的改進(jìn)：QLORA：是一種優(yōu)化的4bit量化數(shù)據(jù)類型，專為正態(tài)分布權(quán)重設(shè)計(jì)，...

?本篇主要講RAG工程的評(píng)測(cè)方法。本篇屬于RAG系列，上一篇整理了RAG的基礎(chǔ)，沒看過(guò)的小伙伴也可以參考本篇來(lái)繼續(xù)介紹RAG工程如何評(píng)測(cè)。下面是一個(gè)快捷目錄。一、RAG評(píng)估方法二、RAG的關(guān)鍵指標(biāo)和能力三、RAG的評(píng)估框架一、RAG評(píng)估方法有兩種方法評(píng)估RAG：獨(dú)立評(píng)估和端到端1.獨(dú)立評(píng)估獨(dú)立評(píng)估就是對(duì)檢索模塊和生成模型分布評(píng)估。1）檢索模塊評(píng)估RAG檢索模塊性能的指標(biāo)主要用于衡量系統(tǒng)（如搜索引擎、推薦系統(tǒng)或信息檢索系統(tǒng)），即...

?本文介紹注意力機(jī)制的變體MLA。MLA(MultiheadLatentAttention)，是由杭州深度求索人工智能在DeepSeekV2提出的一種注意力機(jī)制變體。MLA主要旨在解決推理過(guò)程中由于attention機(jī)制中KVCache占用過(guò)多內(nèi)存而導(dǎo)致的性能瓶頸問題。為此，MLA引入了低秩KV壓縮技術(shù)，有效減少了KVCache的大小，從而緩解了這一問題。有興趣小伙伴可以看官方技術(shù)報(bào)告的介紹：??https:arxiv.orgpdf2405.04434v2??原理介紹上圖為MHA、GQA、MQA、MLA的原...

經(jīng)過(guò)了數(shù)據(jù)收集、篩選、去重，馬上就可以開始訓(xùn)練實(shí)驗(yàn)了。但是在實(shí)驗(yàn)之前，我們還需要先獲取一個(gè)語(yǔ)言模型的基石：分詞器（Tokenizer）。Tokenizer的作用是對(duì)一條文本數(shù)據(jù)進(jìn)行切分、詞表映射，得到這條文本的token序列。用開源Tokenizer還是自己訓(xùn)練Tokenizer可以自己訓(xùn)練，也可以從目前開源的模型中扒一個(gè)來(lái)用，用開源Tokenizer有幾個(gè)點(diǎn)需要著重關(guān)注：壓縮率：壓縮率決定了文本向量化后的長(zhǎng)度，壓縮率越高，向量后數(shù)據(jù)越短，訓(xùn)...

文章鏈接：https:arxiv.orgpdf2409.16283項(xiàng)目鏈接：https:homangab.github.iogen2act亮點(diǎn)直擊人類視頻生成引導(dǎo)機(jī)器人操作：通過(guò)生成零樣本的人類視頻并翻譯成機(jī)器人執(zhí)行策略，避免了直接生成機(jī)器人視頻的復(fù)雜性，利用豐富的網(wǎng)絡(luò)視頻數(shù)據(jù)來(lái)提升泛化能力?，F(xiàn)成模型與閉環(huán)策略結(jié)合：不需微調(diào)視頻生成模型，直接使用現(xiàn)成模型生成視頻，并通過(guò)結(jié)合機(jī)器人觀察歷史與點(diǎn)軌跡優(yōu)化，確保策略能夠動(dòng)態(tài)調(diào)整，提升操作準(zhǔn)確性。強(qiáng)大的泛化能力...

NotebookLM使用AI來(lái)總結(jié)和組織要點(diǎn)，可以輕松地用YouTube視頻創(chuàng)建學(xué)習(xí)指南。只需上傳視頻鏈接，這個(gè)工具就可以幫助你將內(nèi)容轉(zhuǎn)換成結(jié)構(gòu)化指南。用YouTube視頻制作學(xué)習(xí)指南可能很花時(shí)間，但是NotebookLM簡(jiǎn)化了這項(xiàng)任務(wù)。NotebookLM是一個(gè)幫助你做筆記和總結(jié)的工具。它使用AI為你節(jié)省時(shí)間和精力，只需要幾個(gè)步驟就可以把視頻變成學(xué)習(xí)指南。這對(duì)學(xué)生或在線教學(xué)的人大有幫助。你可以用視頻創(chuàng)建筆記、摘要和問題。在本文中，你將學(xué)習(xí)...

?摘要：開源大型語(yǔ)言模型（LLMs）的快速發(fā)展確實(shí)令人矚目。然而，先前文獻(xiàn)中描述的擴(kuò)展規(guī)律呈現(xiàn)出不同的結(jié)論，這為擴(kuò)展LLMs蒙上了一層陰影。我們深入研究了擴(kuò)展規(guī)律，并提出了我們獨(dú)特的發(fā)現(xiàn)，這有助于在兩種普遍使用的開源配置中擴(kuò)展大規(guī)模模型，即7B和67B。在擴(kuò)展規(guī)律的指導(dǎo)下，我們介紹了DeepSeekLLM，這是一個(gè)致力于從長(zhǎng)遠(yuǎn)角度推進(jìn)開源語(yǔ)言模型的項(xiàng)目。為了支持預(yù)訓(xùn)練階段，我們已經(jīng)開發(fā)了一個(gè)目前由2萬(wàn)億個(gè)token組成的數(shù)...

?摘要：我們介紹了ChatGLM，這是我們持續(xù)開發(fā)的大規(guī)模語(yǔ)言模型家族。本報(bào)告主要聚焦于GLM4系列語(yǔ)言模型，包括GLM4、GLM4Air和GLM49B。它們是我們最強(qiáng)大的模型，集成了前三代ChatGLM的所有經(jīng)驗(yàn)和教訓(xùn)。迄今為止，GLM4模型在中文和英文的十萬(wàn)億個(gè)標(biāo)注符號(hào)上進(jìn)行了預(yù)訓(xùn)練，并輔以來(lái)自24種語(yǔ)言的小型語(yǔ)料庫(kù)，主要為中英文使用進(jìn)行了對(duì)齊。高質(zhì)量的對(duì)齊通過(guò)多階段后訓(xùn)練過(guò)程實(shí)現(xiàn)，包括監(jiān)督微調(diào)和從人類反饋中學(xué)習(xí)。評(píng)估表明，GLM4在...

摘要：與人類類似，大型語(yǔ)言模型（LLMs）并不總是在第一次嘗試時(shí)生成最佳輸出。受人類改進(jìn)書面文本方式的啟發(fā)，我們提出了SELFREFINE，這是一種通過(guò)迭代反饋和優(yōu)化來(lái)改進(jìn)LLMs初始輸出的方法。主要思想是首先使用LLM生成初始輸出；然后，由同一個(gè)LLM對(duì)其輸出提供反饋，并使用該反饋對(duì)其進(jìn)行自我優(yōu)化。SELFREFINE不需要任何監(jiān)督訓(xùn)練數(shù)據(jù)、額外的訓(xùn)練或強(qiáng)化學(xué)習(xí)，而是使用單一的LLM作為生成器、優(yōu)化器和反饋提供者。我們?cè)?項(xiàng)不同...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號(hào)：blog51cto）終于來(lái)了！之前Kimi探索版發(fā)布的消息可謂鋪天蓋地，成為AI圈聲量最猛的一波消息了。之前，作為內(nèi)測(cè)功能，朋友們只能看著宣傳眼饞。甚至，在灰色放量的階段，熱情的網(wǎng)友就讓Kimi崩了，而且這件事直接火上了熱搜！圖片今天！Kimi探索版終于是全量上線，所有用戶都能打開Kimi玩起來(lái)了?。上У氖?，有每天5次的限額，大家嘗鮮也只能是“淺嘗一下”，考慮到搜索增強(qiáng)后對(duì)算力的消耗，也...

1、為什么要在MacBook上搭建知識(shí)庫(kù)？最核心最重要的是我們手上的文檔資料出于安全要求，不能隨便上傳到云服務(wù)，也就無(wú)法實(shí)際驗(yàn)證知識(shí)庫(kù)的實(shí)際效用。另外對(duì)于IT同學(xué)來(lái)說(shuō)，自己親手搭建一個(gè)完整的方案、能靈活調(diào)整和對(duì)接各種不同的模型、評(píng)測(cè)各種模型不同的表現(xiàn)，也是出于對(duì)技術(shù)的探索本能使然。使用的MacBook配置如下，對(duì)大模型經(jīng)過(guò)量化處理（比如：int8）后，可以流暢運(yùn)行。2、知識(shí)庫(kù)的架構(gòu)設(shè)計(jì)基于一臺(tái)MacBook搭建部署的架構(gòu)設(shè)...

文章鏈接：https:arxiv.orgpdf2410.04960亮點(diǎn)直擊提供了一項(xiàng)系統(tǒng)的高效SAM變體全面回顧，旨在加速分割任務(wù)。介紹了一個(gè)結(jié)構(gòu)良好的分類法，將這些方法根據(jù)其采用的加速策略進(jìn)行分類。據(jù)我們所知，這是第一項(xiàng)專門關(guān)注該領(lǐng)域的調(diào)查。對(duì)這些變體的效率和準(zhǔn)確性進(jìn)行了全面的評(píng)估和比較，旨在幫助研究人員選擇最能滿足其性能和應(yīng)用需求的模型。提出了幾個(gè)未來(lái)研究的潛在方向，為讀者提供啟發(fā)，以推動(dòng)該領(lǐng)域的持續(xù)發(fā)展。?SegmentAnyth...

1.緣起目前評(píng)測(cè)大語(yǔ)言模型主要有兩種方法：?通過(guò)人類投票來(lái)進(jìn)行評(píng)估，比如：ChatbotArena，但是這種往往需要花費(fèi)較長(zhǎng)的時(shí)間。?為了降低人類標(biāo)注的依賴，還有另外一種自動(dòng)化的LLM基準(zhǔn)測(cè)試。這種方法成本低、容易擴(kuò)展。自動(dòng)化基準(zhǔn)測(cè)試也成為了眾多模型的熱門選擇，而且測(cè)試中的高勝率往往能帶來(lái)顯著的宣傳優(yōu)勢(shì)。但是，自動(dòng)化基準(zhǔn)測(cè)試的勝率可能會(huì)受到長(zhǎng)度和風(fēng)格偏見的影響。雖然大多數(shù)這種影響是來(lái)自訓(xùn)練數(shù)據(jù)集，但是這也導(dǎo)致存...

“架構(gòu)是靈活多變的，切勿鉆牛角尖”在上一篇文章中講到大模型的能力問題，雖然說(shuō)經(jīng)過(guò)這一兩年時(shí)間的發(fā)展，大模型的能力已經(jīng)得到巨大的提升，甚至有些模型已經(jīng)超出了意料。但大模型在工程化落地中依然面臨著很多問題，比如說(shuō)成本問題，技術(shù)問題，以及能力問題，畢竟大模型并不是萬(wàn)能的，某些模型雖然在某些方面表現(xiàn)較強(qiáng)，但并不是無(wú)所不能的。因此，該怎么解決這個(gè)問題呢？這時(shí)通用大模型+多個(gè)垂直小模型的解決方案就出現(xiàn)了。大...

一、背景前段時(shí)間Meta發(fā)布了對(duì)標(biāo)OpenAISORA和快手可靈的視頻生成模型MovieGen，這里我們進(jìn)行相關(guān)的技術(shù)解讀。本文主要聚焦在其圖像和視頻生成模型部分，進(jìn)行詳細(xì)介紹；然后對(duì)視頻個(gè)性化、編輯和音頻生成進(jìn)行簡(jiǎn)單概述。對(duì)應(yīng)的論文：MovieGen:ACastofMediaFoundationModels對(duì)應(yīng)的Blog：HowMetaMovieGencouldusherinanewAIenablederaforcontentcreators更多的Video：MetaMovieGen我們?cè)谥暗奈恼轮幸苍敿?xì)介紹過(guò)各種文生圖相關(guān)的技...

1、AI模型升級(jí)有妙招！"廢物利用"讓大語(yǔ)言模型更強(qiáng)大想象一下，如果能把你的舊手機(jī)變成最新的智能設(shè)備，是不是很酷？在AI領(lǐng)域，研究人員就實(shí)現(xiàn)了類似的"魔法"！他們提出了一種叫做"upcycling"的方法，可以將現(xiàn)有的大語(yǔ)言模型（LLM）升級(jí)成更強(qiáng)大的"專家混合模型"（MoE）。這項(xiàng)技術(shù)不僅能提高模型性能，還能大幅節(jié)省訓(xùn)練成本和時(shí)間。那么，這種"升級(jí)魔法"是如何實(shí)現(xiàn)的呢？研究團(tuán)隊(duì)進(jìn)行了大量實(shí)驗(yàn)，探索了各種升級(jí)技巧和參數(shù)設(shè)置...

文章鏈接：https:arxiv.orgpdf2410.04671項(xiàng)目鏈接：https:github.comMiracleDanceCAR亮點(diǎn)直擊CAR是首個(gè)為自回歸模型家族設(shè)計(jì)的靈活、高效且即插即用的可控框架。CAR基于預(yù)訓(xùn)練的自回歸模型，不僅保留了原有的生成能力，還能在有限資源的情況下實(shí)現(xiàn)可控生成——所用數(shù)據(jù)量不到預(yù)訓(xùn)練所需數(shù)據(jù)的10%。設(shè)計(jì)了一個(gè)通用框架來(lái)捕捉多尺度的控制表示，這些表示具有魯棒性，并能無(wú)縫集成到預(yù)訓(xùn)練的基礎(chǔ)模型中。大量實(shí)驗(yàn)表明，CAR在各種條...

1、LLM訓(xùn)練的隱秘危機(jī)：1%的合成數(shù)據(jù)或致模型崩潰在LLM快速發(fā)展的今天，一個(gè)令人擔(dān)憂的現(xiàn)象正悄然出現(xiàn)——模型崩潰。研究發(fā)現(xiàn)，即便在訓(xùn)練數(shù)據(jù)中僅包含1%的合成數(shù)據(jù)，也可能導(dǎo)致LLM模型性能嚴(yán)重下降，無(wú)論如何增加訓(xùn)練數(shù)據(jù)量都無(wú)法提升效果。更令人意外的是，增加模型規(guī)模這一當(dāng)前廣泛采用的方法，非但不能緩解問題，反而可能加劇模型崩潰。研究團(tuán)隊(duì)通過(guò)理論分析和實(shí)驗(yàn)證明，在某些情況下，更大的模型可能會(huì)放大這種崩潰效應(yīng)。...