近年來，大語言模型(LLM)領域出現了一個引人注目的發展趨勢：研究人員開始轉向具有亞二次復雜度的循環模型架構，如Mamba、RWKV和RecurrentGemma等。這些模型在處理長上下文時展現出顯著的效率優勢，相比傳統Transformer架構的二次方復雜度，它們能夠以更低的計算成本處理更長的序列。然而，這些循環模型存在一個關鍵的局限性：固定大小的循環記憶容量。來自特拉維夫大學、IBM研究院和MITCSAIL的研究團隊在最新論文《溢出預防增...

引言：知識圖譜與大語言模型的融合挑戰隨著人工智能技術的快速發展，大型語言模型（LLMs）已經在自然語言處理領域展現出驚人的能力。基于Transformer架構的LLMs在開放域問答、文本摘要和內容生成等任務中表現出色，并在醫療、金融、法律和科學等多個領域得到廣泛應用。然而，這些模型也面臨著一些固有的局限性：它們容易產生自信但錯誤的輸出（幻覺現象），并且缺乏在不重新訓練的情況下更新或擴展知識的有效機制。檢索增強生成...

引言：重新定義工具使用型語言模型的訓練范式大型語言模型(LLM)的工具使用能力已成為擴展其功能邊界的關鍵戰略。傳統方法通常依賴監督微調(SFT)來確保工具調用的正確性，或從更強大的模型中提煉推理軌跡。然而，這些方法各有局限：要么完全忽略推理過程，要么產生僅能模仿表面模式的偽推理，限制了模型的泛化能力。近日，NVIDIA研究團隊發布了一項突破性成果——NemotronResearchToolN1（簡稱ToolN1），這是一系列基于強化學習...

引言：微調效率的新視角在大型語言模型（LLM）迅速發展的今天，如何在有限資源下高效微調模型成為了研究和應用的關鍵問題。傳統觀點認為，訓練數據的總令牌數是衡量數據規模的唯一標準，但康涅狄格大學的研究團隊提出了一個更為精細的視角：數據的組成結構同樣至關重要。本文將深入分析RyanLagasse、AidanKiernans、AvijitGhosh和ShiriDoriHacohen在論文《固定計算預算下LLM微調中令牌效率的縮放定律》中提出的創新理論。該研究...

大語言模型(LLM)在各種應用場景中展現出了令人矚目的能力，但其固有的知識靜態性和更新滯后性一直是制約其實際應用的關鍵因素。為解決這一問題，阿里巴巴統一實驗室(TongyiLab)的研究團隊提出了一種創新的解決方案——ZeroSearch，這是一個無需與真實搜索引擎交互即可增強LLM搜索能力的強化學習框架。本文將深入分析這項突破性技術的原理、實現方法及其重要意義。1.研究背景與挑戰大語言模型雖然在數學推理、問答和代碼生成等多...

突破性能瓶頸：動態超級塊剪枝如何重塑信息檢索效率在當今數據爆炸的時代，高效的信息檢索系統對于各類應用至關重要，從搜索引擎到基于檢索增強的大語言模型（RAG）。隨著學習型稀疏表示模型的興起，如何在保持高檢索質量的同時提升檢索速度成為研究熱點。本文深入探討一項革命性技術——動態超級塊剪枝（SuperblockPruning，簡稱SP），這一創新方法在保持高相關性的前提下，顯著提升了稀疏檢索的效率。稀疏檢索的挑戰與機遇稀...

在人工智能的發展歷程中，大語言模型(LLM)的推理能力一直是研究的核心焦點。然而，傳統的推理能力增強方法往往依賴于高質量的監督信號，如標注好的答案或外部獎勵模型，這不僅成本高昂，而且難以擴展。近期，來自上海人工智能實驗室、西安交通大學等機構的研究團隊提出了一個革命性的解決方案——Genius框架，這是一個可泛化、純無監督的高級推理自訓練框架，能夠讓大語言模型在沒有任何外部監督的情況下自我提升推理能力。傳統...

大型語言模型（LLM）在處理超出訓練長度的上下文時往往會遇到嚴重的性能下降問題。NVIDIA研究團隊最新提出的SWANGPT架構通過巧妙的設計，成功解決了這一行業難題，無需額外的長上下文訓練即可實現穩健的長度外推能力。本文深入剖析SWANGPT的創新架構、工作原理及其在長上下文處理領域的重大突破。1.長上下文處理的挑戰與現狀大型語言模型的上下文長度限制一直是制約其應用場景的關鍵因素。目前主流的Transformer架構在處理超出...

近年來，大型語言模型(LLMs)在復雜推理任務上的能力取得了顯著突破，從快速直覺思維(System1)向緩慢深度推理(System2)轉變。這種轉變雖然提高了任務準確性，但也帶來了巨大的計算成本。這種性能與成本之間的權衡引發了"推理經濟"(ReasoningEconomy)的概念，它關注如何在保持模型推理能力的同時，最大化計算資源的使用效率。本文將深入探討推理經濟的核心問題，分析LLMs在訓練后和推理階段的效率挑戰，并探索實現推理經濟的潛在...

引言：大模型推理與搜索的融合挑戰隨著OpenAIo1和DeepSeekR1等模型的出現，大型語言模型(LLMs)在推理能力上取得了顯著突破。然而，將復雜推理與外部搜索過程有效整合仍然面臨重大挑戰，尤其是在處理需要多步檢索的復雜多跳問題時。傳統方法往往依賴手動設計的提示或啟發式規則，這在可擴展性和靈活性方面存在明顯局限。更重要的是，為多步推理場景生成監督數據通常成本高昂且在實踐中難以實現。百川科技、同濟大學、愛丁堡大學...

背景大型語言模型（LLMs）如GPT4和LLaMA3憑借Transformer架構的強大情境學習（InContextLearning,ICL）能力，能夠從有限的示例中快速學習并適應新任務。然而，ICL的泛化邊界和脆弱性一直缺乏系統性的理解，這限制了其在實際應用中的潛力發揮。清華大學的研究團隊通過定義一個以任務為中心的框架，從三個維度系統地研究了Transformer架構在ICL下的泛化能力，并提出了優化訓練數據設計的重要指導原則。研究框架：三維泛化能力分析...

融合地理定位與對話能力的新型多模態模型圖像地理定位技術在過去幾年取得了顯著進展，但傳統模型僅限于提供GPS坐標，缺乏對位置的深入理解和與用戶進行有意義對話的能力。中佛羅里達大學的研究團隊最近提出了一種創新解決方案——GAEA（GeolocationAwareConversationalModel），這是首個將精確地理定位能力與豐富對話功能相結合的開源多模態模型。GAEA不僅能確定圖像的拍攝位置，還能提供關于該位置的詳細信息，包括附近的地標...

引言解碼人類大腦處理語言的機制是神經科學的核心目標之一。人類語言處理由大腦的語言網絡（LanguageNetwork,LN）支持，這是一組位于大腦左側的前額葉和顳葉區域，具有對語言輸入的選擇性反應能力。近年來，隨著機器學習的快速發展，基于大規模文本語料庫訓練的下一詞預測的大型語言模型（LLMs）成為了模擬人類語言網絡內部過程的有力工具。本文旨在探討大型語言模型如何與人類語言網絡對齊，并分析這種對齊在模型訓練中的演化...

引言大型語言模型（LLMs）的推理能力近年來取得了顯著進展，尤其是在訓練后階段。諸如DeepSeekR1、KimiK1.5和OpenAIo1等模型展現了卓越的邏輯推理能力。然而，這些成果的可復現性和擴展性仍面臨諸多挑戰，特別是在缺乏訓練代碼和數據集的情況下。LogicRL框架的提出旨在通過基于規則的強化學習（RL）方法，填補這一研究空白，并推動LLMs推理能力的進一步發展。LogicRL通過在邏輯謎題上進行訓練，成功開發了類似DeepSeekR1的推理...

研究背景與創新點深度學習模型，尤其是大型語言模型（LLMs）在推理任務上的表現令人矚目。傳統觀點認為，模型參數量是決定推理能力的主要因素。然而，GoogleResearch團隊的這項研究《推理潛在思維：循環變換器的力量》提出了一個更為大膽的觀點：許多推理問題主要需要的是足夠的深度，而非海量參數。該研究探索了循環變換器（LoopedTransformers）在推理任務中的應用潛力，并揭示了模型架構與推理能力之間的深層聯系。本文的核...

摘要大型語言模型（LLMs）在各個領域都取得了顯著的成功，然而，由于它們所處的復雜和高維損失景觀，其優化仍然是一個重大挑戰。雖然自適應優化器如AdamW被廣泛使用，但它們存在關鍵限制，包括無法捕捉坐標之間的相互依賴性以及高內存消耗。本文分析了COSMOS優化器，這是一種新穎的混合優化器，它利用梯度矩陣中特征子空間的重要性變化來實現內存效率，同時不犧牲優化性能。COSMOS將SOAP應用于主特征子空間，該子空間捕捉了主要...

摘要模仿學習（ImitationLearning,IL）作為一種通過模仿示范來教授智能體復雜行為的范式，已經在機器人學習領域展現出巨大潛力。然而，隨著機器學習技術的快速發展，設計現代模仿學習策略需要在特征編碼、架構、策略表示等方面做出眾多決策，這些選擇構成了一個龐大且尚未被充分探索的設計空間。本文詳細分析了XIL框架，這是一個開源的模塊化框架，旨在系統地探索模仿學習策略的設計空間。通過對XIL的架構設計、核心組件以及在L...

研究背景與動機本文提出了一種新的低秩適應(LoRA)變體GoRA(GradientdrivenAdaptiveLowRankAdaptation)，通過梯度信息來自適應地分配秩和初始化低秩適配器的權重。該方法在保持LoRA高可用性和效率的同時顯著提升了模型性能。現有問題秩的選擇問題：LoRA的性能很大程度上取決于秩的選擇，但增加秩會導致內存使用量上升。初始化策略局限：現有的非零初始化方法要么需要重置全部權重，要么需要保存額外的初始化結果。可用性與效率的...

論文概述本文針對可解釋人工智能(XAI)中的一個關鍵問題展開研究局部代理模型在文本領域中的穩定性估計。研究重點關注了相似度度量方法對XAI穩定性評估的影響,并提出了一種基于同義詞權重的新型評估框架。研究背景可解釋AI的重要性隨著AIML技術的快速發展,模型的復雜度不斷提高,其內部工作機制越來越難以理解。這種"黑盒"特性在醫療、金融等高風險領域尤其令人擔憂。例如:醫療診斷系統的錯誤判斷可能導致嚴重后果金融模型的決策...

研究背景與意義在當前推薦系統研究領域中,知識圖譜(KnowledgeGraph,KG)作為一種強大的數據集成和表示工具,已經被廣泛應用于解決數據稀疏性和可解釋性等問題。然而,不同推薦系統之間知識圖譜的異構性和集成問題仍然是一個亟待解決的挑戰。本文提出了RecKG(RecommendersystemKnowledgeGraph),一個專門面向推薦系統的標準化知識圖譜框架,旨在實現異構推薦系統之間的無縫集成和互操作。核心創新點標準化知識圖譜設計提出了專門針對...