“現(xiàn)在AI和數(shù)據(jù)處理密不可分，80%的企業(yè)可以利用ApacheNiFi輕松解決復雜的數(shù)據(jù)問題，快速完成場景建設(shè)。猶如花上百來塊錢在家享受一頓不亞于五星級西餐廳的法式大餐。對于全棧式的數(shù)據(jù)分析師或者數(shù)據(jù)應用的Java研發(fā)工程師，NiFi讓其擺脫復雜的數(shù)據(jù)工程，而是將精力放在分析和應用的創(chuàng)新之上。而NiFi的GUI也著實令人賞心悅目！”1.ApacheNiFi說到數(shù)據(jù)平臺，很多人的第一反應要么是ETLELT，要么是Spark或Hadoop，要么是Flink，要...

?從OmniGen的訓練數(shù)據(jù)、模型設(shè)計與訓練策略中深度了解多模態(tài)統(tǒng)一生成模型。今天詳細講講多模態(tài)大模型OmniGen之前有總結(jié)過一篇多模態(tài)大模型的研究趨勢，感興趣的小伙伴也可以具體看一下這篇介紹多模態(tài)大模型的文。?OmniGen就屬于統(tǒng)一視覺模型這個方向中，將多個特定任務轉(zhuǎn)化為具備通用能力的圖像生成統(tǒng)一模型；本篇來具體介紹OmniGen的細節(jié)，以及未來前瞻技術(shù)研究可能值得借鑒的部分。下面是一個快捷目錄。一、OmniGen簡介二、...

?本文介紹大模型微調(diào)方法中的QLoRA。QLoRA由華盛頓大學UWNLP小組的成員于2023年提出發(fā)，旨在進一步降低微調(diào)大模型的微調(diào)成本，因為對于上百億參數(shù)量的模型，LoRA微調(diào)的成本還是很高。感興趣的小伙伴可以去閱讀一下原文：https:arxiv.orgpdf2305.14314模型介紹上圖為QLoRA的訓練過程圖，QLoRA更多的是在工程上進行了量化和優(yōu)化，從圖中可知，主要有4個部分的改進：QLORA：是一種優(yōu)化的4bit量化數(shù)據(jù)類型，專為正態(tài)分布權(quán)重設(shè)計，...

?本篇主要講RAG工程的評測方法。本篇屬于RAG系列，上一篇整理了RAG的基礎(chǔ)，沒看過的小伙伴也可以參考本篇來繼續(xù)介紹RAG工程如何評測。下面是一個快捷目錄。一、RAG評估方法二、RAG的關(guān)鍵指標和能力三、RAG的評估框架一、RAG評估方法有兩種方法評估RAG：獨立評估和端到端1.獨立評估獨立評估就是對檢索模塊和生成模型分布評估。1）檢索模塊評估RAG檢索模塊性能的指標主要用于衡量系統(tǒng)（如搜索引擎、推薦系統(tǒng)或信息檢索系統(tǒng)），即...

經(jīng)過了數(shù)據(jù)收集、篩選、去重，馬上就可以開始訓練實驗了。但是在實驗之前，我們還需要先獲取一個語言模型的基石：分詞器（Tokenizer）。Tokenizer的作用是對一條文本數(shù)據(jù)進行切分、詞表映射，得到這條文本的token序列。用開源Tokenizer還是自己訓練Tokenizer可以自己訓練，也可以從目前開源的模型中扒一個來用，用開源Tokenizer有幾個點需要著重關(guān)注：壓縮率：壓縮率決定了文本向量化后的長度，壓縮率越高，向量后數(shù)據(jù)越短，訓...

文章鏈接：https:arxiv.orgpdf2409.16283項目鏈接：https:homangab.github.iogen2act亮點直擊人類視頻生成引導機器人操作：通過生成零樣本的人類視頻并翻譯成機器人執(zhí)行策略，避免了直接生成機器人視頻的復雜性，利用豐富的網(wǎng)絡(luò)視頻數(shù)據(jù)來提升泛化能力。現(xiàn)成模型與閉環(huán)策略結(jié)合：不需微調(diào)視頻生成模型，直接使用現(xiàn)成模型生成視頻，并通過結(jié)合機器人觀察歷史與點軌跡優(yōu)化，確保策略能夠動態(tài)調(diào)整，提升操作準確性。強大的泛化能力...

NotebookLM使用AI來總結(jié)和組織要點，可以輕松地用YouTube視頻創(chuàng)建學習指南。只需上傳視頻鏈接，這個工具就可以幫助你將內(nèi)容轉(zhuǎn)換成結(jié)構(gòu)化指南。用YouTube視頻制作學習指南可能很花時間，但是NotebookLM簡化了這項任務。NotebookLM是一個幫助你做筆記和總結(jié)的工具。它使用AI為你節(jié)省時間和精力，只需要幾個步驟就可以把視頻變成學習指南。這對學生或在線教學的人大有幫助。你可以用視頻創(chuàng)建筆記、摘要和問題。在本文中，你將學習...

?摘要：開源大型語言模型（LLMs）的快速發(fā)展確實令人矚目。然而，先前文獻中描述的擴展規(guī)律呈現(xiàn)出不同的結(jié)論，這為擴展LLMs蒙上了一層陰影。我們深入研究了擴展規(guī)律，并提出了我們獨特的發(fā)現(xiàn)，這有助于在兩種普遍使用的開源配置中擴展大規(guī)模模型，即7B和67B。在擴展規(guī)律的指導下，我們介紹了DeepSeekLLM，這是一個致力于從長遠角度推進開源語言模型的項目。為了支持預訓練階段，我們已經(jīng)開發(fā)了一個目前由2萬億個token組成的數(shù)...

?摘要：我們介紹了ChatGLM，這是我們持續(xù)開發(fā)的大規(guī)模語言模型家族。本報告主要聚焦于GLM4系列語言模型，包括GLM4、GLM4Air和GLM49B。它們是我們最強大的模型，集成了前三代ChatGLM的所有經(jīng)驗和教訓。迄今為止，GLM4模型在中文和英文的十萬億個標注符號上進行了預訓練，并輔以來自24種語言的小型語料庫，主要為中英文使用進行了對齊。高質(zhì)量的對齊通過多階段后訓練過程實現(xiàn)，包括監(jiān)督微調(diào)和從人類反饋中學習。評估表明，GLM4在...

摘要：與人類類似，大型語言模型（LLMs）并不總是在第一次嘗試時生成最佳輸出。受人類改進書面文本方式的啟發(fā)，我們提出了SELFREFINE，這是一種通過迭代反饋和優(yōu)化來改進LLMs初始輸出的方法。主要思想是首先使用LLM生成初始輸出；然后，由同一個LLM對其輸出提供反饋，并使用該反饋對其進行自我優(yōu)化。SELFREFINE不需要任何監(jiān)督訓練數(shù)據(jù)、額外的訓練或強化學習，而是使用單一的LLM作為生成器、優(yōu)化器和反饋提供者。我們在7項不同...

編輯伊風出品51CTO技術(shù)棧（微信號：blog51cto）終于來了！之前Kimi探索版發(fā)布的消息可謂鋪天蓋地，成為AI圈聲量最猛的一波消息了。之前，作為內(nèi)測功能，朋友們只能看著宣傳眼饞。甚至，在灰色放量的階段，熱情的網(wǎng)友就讓Kimi崩了，而且這件事直接火上了熱搜！圖片今天！Kimi探索版終于是全量上線，所有用戶都能打開Kimi玩起來了！（可惜的是，有每天5次的限額，大家嘗鮮也只能是“淺嘗一下”，考慮到搜索增強后對算力的消耗，也...

文章鏈接：https:arxiv.orgpdf2410.04960亮點直擊提供了一項系統(tǒng)的高效SAM變體全面回顧，旨在加速分割任務。介紹了一個結(jié)構(gòu)良好的分類法，將這些方法根據(jù)其采用的加速策略進行分類。據(jù)我們所知，這是第一項專門關(guān)注該領(lǐng)域的調(diào)查。對這些變體的效率和準確性進行了全面的評估和比較，旨在幫助研究人員選擇最能滿足其性能和應用需求的模型。提出了幾個未來研究的潛在方向，為讀者提供啟發(fā)，以推動該領(lǐng)域的持續(xù)發(fā)展。?SegmentAnyth...

1.緣起目前評測大語言模型主要有兩種方法：?通過人類投票來進行評估，比如：ChatbotArena，但是這種往往需要花費較長的時間。?為了降低人類標注的依賴，還有另外一種自動化的LLM基準測試。這種方法成本低、容易擴展。自動化基準測試也成為了眾多模型的熱門選擇，而且測試中的高勝率往往能帶來顯著的宣傳優(yōu)勢。但是，自動化基準測試的勝率可能會受到長度和風格偏見的影響。雖然大多數(shù)這種影響是來自訓練數(shù)據(jù)集，但是這也導致存...

“架構(gòu)是靈活多變的，切勿鉆牛角尖”在上一篇文章中講到大模型的能力問題，雖然說經(jīng)過這一兩年時間的發(fā)展，大模型的能力已經(jīng)得到巨大的提升，甚至有些模型已經(jīng)超出了意料。但大模型在工程化落地中依然面臨著很多問題，比如說成本問題，技術(shù)問題，以及能力問題，畢竟大模型并不是萬能的，某些模型雖然在某些方面表現(xiàn)較強，但并不是無所不能的。因此，該怎么解決這個問題呢？這時通用大模型+多個垂直小模型的解決方案就出現(xiàn)了。大...

一、背景前段時間Meta發(fā)布了對標OpenAISORA和快手可靈的視頻生成模型MovieGen，這里我們進行相關(guān)的技術(shù)解讀。本文主要聚焦在其圖像和視頻生成模型部分，進行詳細介紹；然后對視頻個性化、編輯和音頻生成進行簡單概述。對應的論文：MovieGen:ACastofMediaFoundationModels對應的Blog：HowMetaMovieGencouldusherinanewAIenablederaforcontentcreators更多的Video：MetaMovieGen我們在之前的文章中也詳細介紹過各種文生圖相關(guān)的技...

1、AI模型升級有妙招！"廢物利用"讓大語言模型更強大想象一下，如果能把你的舊手機變成最新的智能設(shè)備，是不是很酷？在AI領(lǐng)域，研究人員就實現(xiàn)了類似的"魔法"！他們提出了一種叫做"upcycling"的方法，可以將現(xiàn)有的大語言模型（LLM）升級成更強大的"專家混合模型"（MoE）。這項技術(shù)不僅能提高模型性能，還能大幅節(jié)省訓練成本和時間。那么，這種"升級魔法"是如何實現(xiàn)的呢？研究團隊進行了大量實驗，探索了各種升級技巧和參數(shù)設(shè)置...

文章鏈接：https:arxiv.orgpdf2410.04671項目鏈接：https:github.comMiracleDanceCAR亮點直擊CAR是首個為自回歸模型家族設(shè)計的靈活、高效且即插即用的可控框架。CAR基于預訓練的自回歸模型，不僅保留了原有的生成能力，還能在有限資源的情況下實現(xiàn)可控生成——所用數(shù)據(jù)量不到預訓練所需數(shù)據(jù)的10%。設(shè)計了一個通用框架來捕捉多尺度的控制表示，這些表示具有魯棒性，并能無縫集成到預訓練的基礎(chǔ)模型中。大量實驗表明，CAR在各種條...

1、LLM訓練的隱秘危機：1%的合成數(shù)據(jù)或致模型崩潰在LLM快速發(fā)展的今天，一個令人擔憂的現(xiàn)象正悄然出現(xiàn)——模型崩潰。研究發(fā)現(xiàn)，即便在訓練數(shù)據(jù)中僅包含1%的合成數(shù)據(jù)，也可能導致LLM模型性能嚴重下降，無論如何增加訓練數(shù)據(jù)量都無法提升效果。更令人意外的是，增加模型規(guī)模這一當前廣泛采用的方法，非但不能緩解問題，反而可能加劇模型崩潰。研究團隊通過理論分析和實驗證明，在某些情況下，更大的模型可能會放大這種崩潰效應。...

引言：視頻動態(tài)場景中的模糊問題及其挑戰(zhàn)這篇論文主要研究了動態(tài)場景視頻去模糊技術(shù)，旨在消除拍攝過程中產(chǎn)生的不想要的模糊瑕疵。然而，盡管之前的視頻去模糊方法取得了顯著的成果，但由于訓練和測試視頻之間的域差距，導致在真實世界場景中的表現(xiàn)大幅下降。為了解決這個問題，作者提出了一種基于模糊模型的域自適應方案，通過測試時的模糊來實現(xiàn)去模糊模型在未知域的微調(diào)。首先，作者提出了一個相對清晰度檢測模塊，用于從模...

在多智能體系統(tǒng)中，LLM的應用變得越來越普遍，通過多個LLM協(xié)作來解決復雜任務的需求日益增加。然而隨著這些技術(shù)的不斷進步，新的安全威脅也隨之而來。提示注入攻擊是一種利用惡意提示來劫持模型執(zhí)行非預期操作的攻擊方式。在單智能體系統(tǒng)中，研究人員已經(jīng)發(fā)現(xiàn)，這些攻擊可以通過嵌入惡意提示在外部文檔中，誘使模型執(zhí)行未授權(quán)的指令，從而危及系統(tǒng)安全。但是在多智能體系統(tǒng)中，提示注入攻擊變得更加復雜且難以防范。通過代理之...