在數(shù)字化時代，視覺信息在知識傳遞和決策支持中的重要性日益凸顯。然而，傳統(tǒng)的檢索增強(qiáng)型生成（RAG）方法在處理視覺豐富信息時面臨著諸多挑戰(zhàn)。一方面，傳統(tǒng)的基于文本的方法無法處理視覺相關(guān)數(shù)據(jù)；另一方面，現(xiàn)有的視覺RAG方法受限于定義的固定流程，難以有效激活模型的推理能力。來自阿里巴巴通義實(shí)驗(yàn)室的最新研究成果——VRAGRL（EmpowerVisionPerceptionBasedRAGforVisuallyRichInformationUnderstandingviaIterativeReaso...

去年底的時候，筆者寫過，與其在RAG系統(tǒng)上雕花，可以重新思考一下，自己的業(yè)務(wù)場景是否非RAG不可嗎？隨著去年大模型的蓬勃發(fā)展，長度外推、更長的上下文模型，更厲害的中文底座大模型，都可以讓整個系統(tǒng)的壓力往生成部分上遷移。后來筆者造了一個詞，文檔片段化。對于常規(guī)的pdf問答檔問答，基本上都能使用單一的大模型覆蓋到了。但是對于知識庫，文檔庫的問答，似乎RAG還是必不可少的。但是如果生成模型能力更強(qiáng)了，那與其在思...

論文分享，ReinforcementLearningforReasoninginLargeLanguageModelswithOneTrainingExample這個論文看起來挺有意思，比較反常識，代碼開源：https:github.comypwang61OneShotRLVR。在Math500上，讓Qwen2.5Math1.5B性能翻倍，從36%提升到73.6%。讓Qwen2.5Math7B，從51%提升到79.2%。僅需要1個樣本進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練即可達(dá)到。如下圖，最終收斂跟藍(lán)色線（一個1000多個樣本的數(shù)據(jù)集）訓(xùn)練出來的效果差不多。那這個樣本到底是個什么...

論文筆記分享，ReasoningModelsCanBeEffectiveWithoutThinking。ucberkeley。目前主流的推理模型在解決問題時，通常會有一個think階段。這種方式雖然結(jié)果會大幅提升，但消耗的計算資源卻不少。所以，這個文章研究的問題是：AI真的需要這么“認(rèn)真思考”嗎？注：本文寫于o3發(fā)布之前，o3的思考充分利用工具能力，模型即產(chǎn)品，有一點(diǎn)跳脫o1版推理大模型的范疇了。另外，今天開源的Gemini2.5Flash，支持了thinkingbudget，有一些理念...

Meta開源llama4，原生多模態(tài)模型，慣例，支持200多種語言，除了中文。有點(diǎn)堆活，主要特色是，可以單張GPU運(yùn)行近1000wtoken上下文的模型，所以直接對標(biāo)gemini了？1000萬token上下文窗口意味著什么？相當(dāng)于可以處理20多小時的視頻內(nèi)容（因?yàn)樗窃嗄B(tài)模型）。三款全新模型同步發(fā)布Scout：17B激活參數(shù)（16個專家）。速度極快，原生多模態(tài)，智能程度高。達(dá)到業(yè)界領(lǐng)先的1000萬+token上下文窗口，并且可以在單個GPU上運(yùn)行！Maver...

一篇對deepseekr1論文補(bǔ)漏的文章，做了很多額外的實(shí)驗(yàn)，內(nèi)容很到位，標(biāo)題：UnderstandingR1ZeroLikeTraining:ACriticalPerspective。論文地址：https:github.comsailsgunderstandr1zeroblobmainunderstandr1zero.pdf基礎(chǔ)模型分析驗(yàn)證模板對幾種基礎(chǔ)模型的影響觀察結(jié)果如下：模板對模型是回答question，還是補(bǔ)全question很重要測試的幾個基礎(chǔ)模型在RL之前已經(jīng)具備數(shù)學(xué)解題能力Llama和DeepSeek模型使用R1模板時回答能力顯著提升De...

Qwen2.5Omni7B開源，Qwen的第一個端到端的多模態(tài)模型，可以文本、圖像、音頻和視頻輸入，同時以流式方式生成文本和自然語音回復(fù)。提出了ThinkerTalker架構(gòu)。PR還沒合進(jìn)去，要注意安裝方式評測的榜似乎畫的有點(diǎn)趕，看不出信息量。提出了一種新的位置嵌入，稱為TMRoPE（時間對齊多模態(tài)RoPE），用于同步視頻輸入的時戳與音頻。資源占用：理論值如下，實(shí)際要在高1.2倍，看起來消耗有點(diǎn)大。瞄下代碼，關(guān)于輸入，每個模態(tài)都有專門的處...

基于圖的RAG統(tǒng)一框架indepth分析作者：港中深與華為的研究人員核心速覽研究背景研究問題：這篇文章要解決的問題是如何在統(tǒng)一框架下對基于圖的檢索增強(qiáng)生成(RAG)方法進(jìn)行系統(tǒng)的比較和分析。現(xiàn)有的基于圖的RAG方法沒有在同一實(shí)驗(yàn)設(shè)置下進(jìn)行系統(tǒng)的比較。研究難點(diǎn)：包括缺乏統(tǒng)一的框架來抽象和比較各種基于圖的RAG方法；現(xiàn)有工作主要關(guān)注整體性能評估而非單個組件的性能；以及缺乏對各種方法在準(zhǔn)確性和效率方面的全面比較。相關(guān)工作...

論文筆記，LongRoPE2:NearLosslessLLMContextWindowScaling，https:arxiv.orgpdf2502.20082。longropev1的升級工作，應(yīng)對長度外推的。longropev1簡單回顧，核心思想是非均勻插值+漸進(jìn)式微調(diào)：對比NTK、YaRN之類的插值方式，LongROPE的每個頻率都有自己的縮放因子。所以先進(jìn)行基于困惑度的進(jìn)化搜索，得到每個rope維度的最佳縮放因子。在應(yīng)用當(dāng)前階段的RescaledRoPE后，對模型進(jìn)行微調(diào)，讓模型權(quán)重適應(yīng)新的上下文窗口大小和位置編...

今天開源了deepseekv3中提到的的FP8GEMM內(nèi)核。300行代碼的暴力cuda美學(xué)，看不太懂，但是每天都可以打個醬油支持普通的矩陣乘法以及MixofExperts分組矩陣乘法。使用CUDA編寫，安裝時無需編譯，所有內(nèi)核在運(yùn)行時通過輕量級的即時編譯（JIT）模塊動態(tài)編譯。DeepGEMM設(shè)計，避免了對CUTLASS和CuTe的過度依賴，采用了更簡潔的設(shè)計，核心代碼只有大約300行。整個庫就是非常“輕量化”，但同時性能又很強(qiáng)大，甚至超過了專家調(diào)優(yōu)的庫。在...

最近在折騰DeepSeekR1的私有部署，發(fā)現(xiàn)不少開發(fā)者都遇到了類似的困擾。明明按照文檔一步步來，卻總是會碰到這樣那樣的問題分片下載老是斷，模型合并偶爾出錯，環(huán)境配置更是讓人頭大。要是再遇到多機(jī)分布式、高并發(fā)或者國產(chǎn)芯片這些場景，那就更不好處理了。正好最近看到一個挺有意思的開源項(xiàng)目GPUStack(https:github.comgpustackgpustack)。它用Apache協(xié)議開源，主要就是為了解決DeepSeekR1這類大模型的部署問題。試用下來體驗(yàn)...

這個工作目標(biāo)是，找到一種簡單的方法，可以實(shí)現(xiàn)testtimescalling。關(guān)鍵點(diǎn)有2個，構(gòu)建高質(zhì)量的監(jiān)督數(shù)據(jù)1k，用于監(jiān)督微調(diào)；一個BudgetForcing的方法，用于限定模型的推理過程。經(jīng)過這么一折騰，模型的性能隨著推理token數(shù)量變長而編號。如何構(gòu)建高質(zhì)量的1k數(shù)據(jù)初始收集：從16個不同的來源收集了59,029個問題，包括NuminaMATH、AIME、OlympicArena、OmniMath、AGIEval等。最終篩選：通過質(zhì)量、難度和多樣性三個標(biāo)準(zhǔn)，從59K個問題中...

??摘要檢索增強(qiáng)生成（RAG）在開放域問答任務(wù)中表現(xiàn)出色。然而，傳統(tǒng)搜索引擎可能會檢索淺層內(nèi)容，限制了大型語言模型（LLM）處理復(fù)雜、多層次信息的能力。為了解決這個問題，我們引入了WebWalkerQA，一個旨在評估LLM執(zhí)行網(wǎng)頁遍歷能力的基準(zhǔn)。它評估LLM系統(tǒng)性地遍歷網(wǎng)站子頁面以獲取對應(yīng)信息的能力。同時我們提出了WebWalker，一個通過explorercritic范式模擬人類網(wǎng)頁導(dǎo)航的multiagent框架。廣泛的實(shí)驗(yàn)結(jié)果表明，WebWalkerQA具有...

CAG：CacheAugmentedGeneration緩存增強(qiáng)生成。不要做RAG了：當(dāng)緩存增強(qiáng)生成對于知識任務(wù)就足夠時檢索增強(qiáng)生成（RAG）作為一種通過整合外部知識源來增強(qiáng)語言模型的有效方法，已經(jīng)得到了廣泛應(yīng)用。然而，RAG引入了檢索延遲、文檔選擇潛在錯誤和系統(tǒng)復(fù)雜性增加等挑戰(zhàn)。隨著具有顯著擴(kuò)展上下文窗口的大型語言模型（LLMs）的出現(xiàn)，本文提出了一種替代范式，即緩存增強(qiáng)生成（CAG），它繞過了實(shí)時檢索。我們的方法涉及預(yù)先加載所有相關(guān)...

langchain也送來新年禮物了，對標(biāo)openaicanvas的項(xiàng)目開源。OpenCanvas不是又一個AI聊天機(jī)器人。它是一個開源的Web應(yīng)用，可以讓你與AI助手協(xié)同工作，以更高效、更智能的方式創(chuàng)作文檔和代碼。它汲取了OpenAI“Canvas”的靈感，但又有所創(chuàng)新，為你帶來更強(qiáng)大的功能和更靈活的體驗(yàn)。試用地址：https:opencanvas.langchain.comOpenCanvas的獨(dú)特之處：完全開源，自由掌控：所有代碼都是開源的，并采用MIT許可。你可以自由地使用、修改...

宇航員如何在火星上生存而無需谷歌搜索？太空、火星、外星人、太空任務(wù)……自從人類首次見證尼爾·阿姆斯特朗登上月球以來，所有關(guān)于太空探索的話題以及太空的隱藏秘密一直讓我們著迷。隨著技術(shù)的進(jìn)步，我們的目光投向了火星殖民和深空探索。盡管太空探索的美麗吸引了無數(shù)電影的關(guān)注，但它也帶來了許多挑戰(zhàn)，其中一個關(guān)鍵挑戰(zhàn)是：在不依賴地球互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的情況下獲取實(shí)時、可操作的信息。顯然，宇航員在太空中無法使用谷歌...

Anthropic剛剛發(fā)布了一篇瘋狂的新論文。ALIGNMENTFAKINGINLARGELANGUAGEMODELS。人工智能模型會“偽裝對齊”——在訓(xùn)練期間假裝遵守訓(xùn)練規(guī)則，但在部署后會恢復(fù)其原始行為！研究表明，Claude3Opus在訓(xùn)練中有策略地遵守有害請求，以保持其無害行為。也就是說，模型并非簡單地隨機(jī)或無意識地做出反應(yīng)，而是經(jīng)過了類似人類的思考過程，并且其思考的目標(biāo)是維持它原本“無害”的行為模式。舉個例子，模型可能會這樣“思考”：“我現(xiàn)...

分詞化tokenize化，是模型理解自然語言的最小單元。但是一些問題，如多語言、錯別字、計算開銷等問題，基于Byte的分詞更為流行。Meta的這個工作開源ByteLatentTransformer（BLT）的方法。BLT的核心思想：直接處理原始字節(jié)：與傳統(tǒng)的基于詞元的模型不同，BLT直接使用構(gòu)成文本的最小數(shù)字單位字節(jié)進(jìn)行處理。這從根本上消除了對分詞的需求，避免了分詞可能帶來的誤差和局限性。動態(tài)patching：這是BLT的關(guān)鍵創(chuàng)新。它根據(jù)文本的復(fù)雜度...

OpenAI和Deepmind在pk了？紅方：openai從明天開始“OpenAI的12天”，每天都會有直播活動，展示新產(chǎn)品和演示。目前社區(qū)猜測可能發(fā)布的產(chǎn)品，如O1full、Sora視頻模型和GPT4.5。openai挖走了deepmind的3名高級工程師，他們在視覺方面的研究，目前落后于最近的SOTA視覺方法，像ViT、SigLIP、PaliGemma這些開源模型，開始搶人大戰(zhàn)。藍(lán)方：deepmindGenCast天氣模型代碼和模型開源，GoogleDeepMind在《自然》雜志上發(fā)布了一個AI天氣預(yù)...

微軟最新又改版了一波GraphRAG，這波把知識圖譜丟了，只剩下無向圖了。帶來的優(yōu)勢是：LazyGraphRAG數(shù)據(jù)索引成本與向量RAG相同，且為全圖RAG成本的0.1%。對于與向量RAG相當(dāng)?shù)牟樵兂杀荆琇azyGraphRAG在局部查詢中優(yōu)于所有競爭方法，包括LongRAG和GraphRAGDRIFT搜索以及GraphRAG局部搜索。相同的LazyGraphRAG配置在全局查詢方面也顯示出與GraphRAG全局搜索相當(dāng)?shù)拇鸢纲|(zhì)量，但查詢成本降低了700多倍。對于GraphRAG全局搜索的4%查詢...