論文鏈接：??https:arxiv.orgpdf2505.22642??項(xiàng)目鏈接：?https:younggyo.mefasttd3??亮點(diǎn)直擊提出了FastTD3，一種簡單、快速且高效的強(qiáng)化學(xué)習(xí)算法，能夠解決多種運(yùn)動(dòng)和操作任務(wù)，而之前的RL算法需要數(shù)十小時(shí)才能完成或無法解決。可以通過一個(gè)極其簡單的方案實(shí)現(xiàn)：使用大批次更新、并行仿真、分布式強(qiáng)化學(xué)習(xí)以及精心調(diào)優(yōu)的超參數(shù)來訓(xùn)練TD3智能體。展示了各種設(shè)計(jì)選擇的有效性。發(fā)布了一個(gè)易于使用的開源FastTD3實(shí)現(xiàn)，以加...

維持對話與推理的比例平衡在準(zhǔn)備好數(shù)據(jù)集后，通常即可開始模型訓(xùn)練，但我們?nèi)孕杩紤]模型的對話與推理比例（ChattoReasonRatio）。較高的對話比例側(cè)重對話流暢性和通用知識(shí)，而較高的推理比例則強(qiáng)調(diào)邏輯推理和問題解決能力。二者的平衡對構(gòu)建既能進(jìn)行自然對話又能處理復(fù)雜任務(wù)的多功能模型起著重要作用。本文假設(shè)需要構(gòu)建一個(gè)對話模型，因此設(shè)定對話部分占比70%，推理部分占比30%。實(shí)現(xiàn)方式如下：importpandasaspd設(shè)定對話比例ch...

文章地址：https:arxiv.orgabs2505.23758開源地址：https:lorashop.github.io（待開源）亮點(diǎn)直擊首創(chuàng)多概念LoRA編輯框架：首次實(shí)現(xiàn)無需重新訓(xùn)練微調(diào)，直接在給定圖片中無縫插入多個(gè)由LoRA定義的定制化概念（物體、人物、風(fēng)格）。解耦掩碼自動(dòng)提取技術(shù):創(chuàng)新性利用模型內(nèi)部特征圖，自動(dòng)生成每個(gè)LoRA概念的空間影響區(qū)域掩碼，精準(zhǔn)定位編輯位置。免訓(xùn)練動(dòng)態(tài)融合機(jī)制:在推理階段動(dòng)態(tài)混合多個(gè)LoRA權(quán)重，僅在其對應(yīng)掩碼區(qū)域內(nèi)激活特定...

?“Agent智能體技術(shù)理論和實(shí)際操作完全是兩碼事，這也是為什么市場一直有人說還看不到大模型的應(yīng)用價(jià)值。”最近在做基于Agent的數(shù)據(jù)分析功能，主要使用大模型和工具來實(shí)現(xiàn)；通過大模型自主分析的能力獲取數(shù)據(jù)的分析結(jié)果，然后調(diào)用工具來進(jìn)行繪圖；開發(fā)框架使用的是Langchain和Langgraph。但是本來以為是一個(gè)很簡單的事情，但等到真正操作起來時(shí)才發(fā)現(xiàn)；其過程遠(yuǎn)比自己想象中的要復(fù)雜得多。果然是紙上得來終覺淺，絕知此事要躬...

“工具調(diào)用是大模型智能體的核心理念，沒有工具就沒有智能體的存在。”智能體開發(fā)是大模型應(yīng)用中一個(gè)重要的概念，也是大模型應(yīng)用的未來；而關(guān)于智能體的開發(fā)有各種各樣的概念，但核心無非有兩個(gè)一個(gè)是函數(shù)調(diào)用，另一個(gè)就是工具的實(shí)現(xiàn)。關(guān)于函數(shù)調(diào)用有兩種方式，其一是之前的functioncall，其二是現(xiàn)在比較火的MCP協(xié)議；不管是fc還是MCP目的都是讓大模型能夠調(diào)用外部的工具來實(shí)現(xiàn)具體的功能。而今天我們主要介紹的就是基于Langcha...

本文將深入研究修剪、量化、蒸餾等輕量化機(jī)器學(xué)習(xí)的五種核心技術(shù)，從而使你的神經(jīng)網(wǎng)絡(luò)更高效、更易于部署。簡介無論你是在準(zhǔn)備面試，還是在工作中構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)，模型壓縮都已成為一項(xiàng)必備技能。在大語言模型（LLM）時(shí)代，模型規(guī)模越來越大，如何壓縮這些模型以使其更高效、更小巧、更易于在輕量級(jí)機(jī)器上使用，這一挑戰(zhàn)從未如此嚴(yán)峻。在本文中，我將介紹每位機(jī)器學(xué)習(xí)從業(yè)者都應(yīng)該理解和掌握的四種基本壓縮技術(shù)。我將探討剪枝...

在當(dāng)今數(shù)字化時(shí)代，大語言模型（LLMs）已經(jīng)徹底改變了我們與信息交互的方式。從生成類人文本到翻譯語言，再到編寫代碼，它們的能力令人驚嘆。然而，當(dāng)涉及到復(fù)雜的推理任務(wù)時(shí)，這些模型的表現(xiàn)卻常常不盡如人意。今天，我們要介紹的CoTRAG框架，就是為了解決這一問題而誕生的。一、大語言模型推理的困境大語言模型（LLMs）如GPT4、Claude和Llama等，以其強(qiáng)大的語言生成能力，已經(jīng)在眾多領(lǐng)域得到了廣泛應(yīng)用。然而，當(dāng)它們被要求解...

在當(dāng)今的AI世界里，Transformer架構(gòu)無疑是自然語言處理（NLP）領(lǐng)域的超級(jí)英雄。從ChatGPT這樣的聊天機(jī)器人，到翻譯工具，再到代碼生成器，Transformer都扮演著核心角色。它在2017年的論文《AttentionisAllYouNeed》中首次亮相，徹底改變了我們對語言的理解和生成方式。今天，我們就來深入解析Transformer和大型語言模型（LLMs）的核心機(jī)制，用簡單易懂的方式帶你領(lǐng)略它們的魅力。Transformer和LLMs是什么？想象一下，你在讀一本...

在不到十年前，與計(jì)算機(jī)進(jìn)行有意義的對話還只是科幻電影中的情節(jié)。然而如今，數(shù)以百萬計(jì)的人每天都在與AI助手聊天、通過文字描述生成令人驚嘆的藝術(shù)作品，甚至利用這些AI工具理解圖像并完成高級(jí)任務(wù)。這些進(jìn)步背后，是眾多專業(yè)AI模型的強(qiáng)力支撐，每個(gè)模型都有其獨(dú)特的功能和應(yīng)用場景。今天，就讓我們一起走進(jìn)八大專業(yè)AI模型的世界，看看它們是如何重塑數(shù)字世界，甚至可能塑造我們的未來。一、LLMs：大型語言模型，開啟語言智能...

GRIT從本質(zhì)上而言是一種改良過的強(qiáng)化學(xué)習(xí)，它針對輸出進(jìn)行了魔改，用一個(gè)生活例子來理解。想象一下，你在和朋友看一張照片，朋友問你："這張照片里有幾只貓？"普通人會(huì)怎么回答？"我看看，這里有一只白貓（用手指著左上角），那里還有一只黑貓（指著右下角），所以一共有2只貓。"傳統(tǒng)AI是怎么回答的？"我需要仔細(xì)觀察這張圖片，分析其中的動(dòng)物特征，通過形狀、顏色等特征識(shí)別，最終得出結(jié)論：圖片中有2只貓。"看出區(qū)別了嗎？人...

當(dāng)我們看到一張照片時(shí)，大腦會(huì)自動(dòng)分析其中的空間關(guān)系——哪個(gè)物體在前，哪個(gè)在后，左邊是什么，右邊是什么。但對于當(dāng)今最先進(jìn)的AI系統(tǒng)來說，這種看似簡單的空間理解卻是一個(gè)巨大的挑戰(zhàn)。MetaFAIR和香港中文大學(xué)的研究團(tuán)隊(duì)最近發(fā)布的MultiSpatialMLLM項(xiàng)目，正在試圖解決這個(gè)根本性問題。現(xiàn)有的多模態(tài)大語言模型雖然在圖像識(shí)別和文本理解方面表現(xiàn)出色，但在空間推理上卻存在嚴(yán)重缺陷。這些模型往往連最基本的左右區(qū)分都會(huì)出錯(cuò)，...

自適應(yīng)推理模型的核心就是讓模型自己根據(jù)用戶問題的來判斷是否進(jìn)行推理預(yù)測。Arm存在三種格式：直接回答、短CoT或代碼、長CoT，同時(shí)引入AdaGRPO解決傳統(tǒng)GRPO中的格式崩潰問題。除了自適應(yīng)模式，Arm還支持另外兩種模式；指令引導(dǎo)模式，用戶明確強(qiáng)制選擇某一種指定推理格式共識(shí)引導(dǎo)模式，聚合直接回答、短CoT或代碼三種格式的輸出，當(dāng)答案一致時(shí)，直接返回，否則認(rèn)為任務(wù)較復(fù)雜，切換到LongCoT推理模式。模型的訓(xùn)練分為兩個(gè)階段，...

1.強(qiáng)化學(xué)習(xí)在Text2SQL領(lǐng)域的現(xiàn)狀Text2SQL技術(shù)是將自然語言轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)庫查詢，通過賦能非技術(shù)人員高效操作關(guān)系數(shù)據(jù)庫。當(dāng)前研究聚焦于基礎(chǔ)模型微調(diào)，其中強(qiáng)化學(xué)習(xí)（RL）被證實(shí)能顯著提升模型表現(xiàn)。而獎(jiǎng)勵(lì)模型（RM）的精心設(shè)計(jì)尤為重要，其信號(hào)質(zhì)量直接影響微調(diào)效果。在現(xiàn)有RL方案中，有三種主流獎(jiǎng)勵(lì)方案：執(zhí)行準(zhǔn)確率:仍是核心指標(biāo)，通過查詢正確性提供直觀反饋。BradleyTerry獎(jiǎng)勵(lì)模型:基于大模型的BradleyTerry獎(jiǎng)勵(lì)模型（B...

1、RAG研究現(xiàn)狀問答系統(tǒng)（QA）讓用戶能用自然語言從海量資料中精準(zhǔn)獲取信息，主要分為兩類：開放域QA依托常識(shí)作答封閉域QA則需專業(yè)資料支持隨著DeepSeekR1、Grok3等大語言模型（LLM）的突破，文本流暢度和語義理解顯著提升。但這些模型依賴參數(shù)記憶，遇到專業(yè)術(shù)語或復(fù)雜推理時(shí)，仍可能"胡言亂語"或答非所問。檢索增強(qiáng)生成（RAG）通過在作答前抓取相關(guān)片段提升準(zhǔn)確性，知識(shí)圖譜（KG）則用結(jié)構(gòu)化關(guān)系網(wǎng)絡(luò)支持多步推理。但現(xiàn)有方案...

一、背景最近華為推出了超節(jié)點(diǎn)CloudMatrix384，進(jìn)一步引發(fā)業(yè)內(nèi)對ScaleUp和ScaleOut的廣泛討論。不可避免地也會(huì)涉及與NVIDIA超節(jié)點(diǎn)NVL72的對比。ScaleUp和ScaleOut各自具有不同的優(yōu)劣勢和局限性。除了擴(kuò)展性和成本問題外，故障和容錯(cuò)也是一個(gè)不可忽略的挑戰(zhàn)。本文中，我們介紹一個(gè)NVIDIA最近在這一領(lǐng)域的研究工作，著重探討隨著ScaleUp域的擴(kuò)展，如何應(yīng)對相應(yīng)的容錯(cuò)問題。對應(yīng)的論文為：[2504.06095]NonuniformTensorParallelism...

你有沒有遇到過這樣的情況：跟AI聊天的時(shí)候，它前一秒還好好的，下一秒就開始胡說八道？明明告訴它要遵守某些規(guī)則，但它總是"選擇性失憶"？如果你正在開發(fā)AI產(chǎn)品，或者對AI技術(shù)感興趣，今天這篇文章絕對值得你花5分鐘讀完。我們要聊的是一個(gè)讓AI智能體在真實(shí)業(yè)務(wù)中"言聽計(jì)從"的革命性方法。圖片一、AI智能體的"叛逆期"：為什么它們總是不聽話？想象一下，你花了幾個(gè)月開發(fā)了一個(gè)電商購物助手，結(jié)果上線第一天就出事了：AI居然向...

AI系統(tǒng)能否無限地自我改進(jìn)？這項(xiàng)工作展示了自我改進(jìn)AI的潛力，靈感來源于生物進(jìn)化和開放式探索。總體概況這項(xiàng)工作提出了達(dá)爾文哥德爾機(jī)器（DGM），該系統(tǒng)通過結(jié)合自指代碼修改和開放式進(jìn)化搜索，推進(jìn)了自我改進(jìn)AI的愿景...與原始哥德爾機(jī)器不同（它要求代碼更改具有可證明的益處，這是一個(gè)實(shí)際上難以處理的約束條件），DGM采用了經(jīng)驗(yàn)方法：它修改自己的代碼庫，并在編程基準(zhǔn)測試上評估改進(jìn)效果。自指自我改進(jìn)循環(huán)DGM從單個(gè)編程...

 昨天，DeepSeekR1模型完成最新升級(jí)并全面開源。不久后，獨(dú)立評測機(jī)構(gòu)ArtificialAnalysis發(fā)布最新排名：DeepSeek憑借R10528版本躍居全球第二大AI實(shí)驗(yàn)室，與谷歌Gemini2.5Pro平起平坐，一舉超越馬斯克的xAI、扎克伯格的Meta和Anthropic三大硅谷巨頭。  DeepSeekR1在七項(xiàng)頂級(jí)測試中綜合得分從60分飆升至68分，進(jìn)步幅度與OpenAI從o1到o3的代際升級(jí)相同。  尤其引人矚目的是，它在競賽數(shù)學(xué)（AIME2024）和...

針對提升LLM推理能力面臨的挑戰(zhàn)，斯坦福大學(xué)研究人員提出了“思考、修剪、訓(xùn)練”（TPT）框架，讓LLM利用自生成且驗(yàn)證正確的數(shù)據(jù)迭代優(yōu)化。研究表明，無需強(qiáng)化學(xué)習(xí)、大型數(shù)據(jù)集或外部教師模型，TPT可以使較小模型推理性能媲美甚至超越大模型，凸顯了TPT框架在提升模型推理能力和準(zhǔn)確性的潛力。目前，缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù)仍然是提高大型語言模型（LLM）推理能力的主要障礙之一。斯坦福大學(xué)研究人員最近進(jìn)行的一項(xiàng)研究探索了一個(gè)...

編者按：當(dāng)身邊的人都在談?wù)揂IAgent時(shí)，你是否會(huì)困惑：究竟什么才是真正的智能體？為什么OpenAI、IBM和各大技術(shù)領(lǐng)袖給出的智能體定義都不相同？我們今天為大家?guī)淼倪@篇文章，作者的觀點(diǎn)是：當(dāng)前流行的智能體定義要么過于復(fù)雜，要么嚴(yán)重偏離核心要義，真正的智能體應(yīng)該被定義為“具備自主性和行為能力，能在所處環(huán)境中實(shí)現(xiàn)一個(gè)或多個(gè)目標(biāo)的系統(tǒng)”。本文系原作者觀點(diǎn)，BaihaiIDP僅進(jìn)行編譯分享作者StevenWillmott編譯岳揚(yáng)2025年...