文章鏈接：https:arxiv.orgpdf2505.10562亮點(diǎn)直擊提出了一種新的視覺(jué)分詞器訓(xùn)練范式，以釋放視覺(jué)分詞器在下游自回歸任務(wù)中的潛力。該視覺(jué)分詞器能夠感知并針對(duì)下游訓(xùn)練進(jìn)行優(yōu)化。引入了一種簡(jiǎn)單而有效的端到端視覺(jué)分詞器調(diào)優(yōu)方法ETT。ETT利用分詞器的碼本嵌入而不僅限于離散索引，并應(yīng)用詞級(jí)描述損失來(lái)優(yōu)化視覺(jué)分詞器的表示。ETT顯著提升了基于下一詞預(yù)測(cè)范式的下游任務(wù)結(jié)果，包括多模態(tài)理解和生成任務(wù)，同時(shí)保持了分詞器的重建...

在人工智能的浪潮中，檢索增強(qiáng)生成（RAG）和代理式檢索增強(qiáng)生成（AgenticRAG）正悄然改變著我們與機(jī)器交互的方式。今天，就讓我們深入探討這兩者之間的差異，看看誰(shuí)才是AI檢索生成的未來(lái)！一、RAG：AI檢索增強(qiáng)的基石（一）RAG是什么？RAG，即檢索增強(qiáng)生成（RetrievalAugmentedGeneration），是一種將生成模型與外部檢索機(jī)制相結(jié)合的人工智能框架。它讓AI模型不再局限于靜態(tài)訓(xùn)練數(shù)據(jù)，而是能夠從知識(shí)庫(kù)或文檔中檢索相關(guān)信息，并...

你是否遇到過(guò)這樣的情況：你希望聊天機(jī)器人使用一個(gè)工具回答問(wèn)題？雖然這聽(tīng)起來(lái)有些復(fù)雜，但現(xiàn)在，MCP（模型上下文協(xié)議）提供外部工具中的方法，不僅讓LLM能夠輕松調(diào)用工具，還可以基于不同應(yīng)用場(chǎng)景使用工具。本文將深入探討使用FastAPI完成Web應(yīng)用轉(zhuǎn)換過(guò)程，該應(yīng)用程序由MCP服務(wù)器提供支持，使用FastAPIMCP。FastAPI與MCPFastAPI是由Python提供的工具，幫助用戶(hù)構(gòu)建API應(yīng)用從而協(xié)助完成Web應(yīng)用程序的開(kāi)發(fā)。由于其使用方便、上...

從1920年的小說(shuō)《R.U.R》到《鋼鐵俠》中的JARVIS，在過(guò)去的一個(gè)世紀(jì)里，人們一直夢(mèng)想著構(gòu)建能夠自動(dòng)化日常工作的DigitalAgents（數(shù)字代理）。如今，隨著視覺(jué)語(yǔ)言模型（VLMs）的蓬勃發(fā)展，構(gòu)建這樣的Agents成為了可能。11AgentforGUIControl想要構(gòu)建一個(gè)有效的ComputerUseAgents，其必須擁有兩個(gè)能力：（1）Planning能力，即規(guī)劃Computeruse任務(wù)的能力，能將用戶(hù)給定的（高階）指令分步劃分為多個(gè)子目標(biāo)（2）Action能力，即根據(jù)...

前言本期我們推出創(chuàng)新性預(yù)測(cè)模型：CEEMDAN分解+InformerLSTM+XGBoost組合預(yù)測(cè)模型。通過(guò)CEEMDAN自適應(yīng)信號(hào)分解將原始序列解耦為多頻分量，構(gòu)建高頻低頻兩級(jí)預(yù)測(cè)通道：高頻分量由于其復(fù)雜性，采用參數(shù)豐富的InformerLSTM并行模型，這種結(jié)合了注意力機(jī)制和長(zhǎng)短期記憶網(wǎng)絡(luò)的模型能更好地捕獲長(zhǎng)程依賴(lài)和復(fù)雜動(dòng)態(tài)變化；低頻分量則使用XGBoost，這是一種高效的梯度提升決策樹(shù)模型，能夠快速處理簡(jiǎn)單且低頻的特征，避免過(guò)擬合。各模型...

記憶是AI系統(tǒng)的基本組成部分，尤其是對(duì)于基于LLMs的Agents。首次將記憶表示分為三類(lèi)：參數(shù)化記憶、上下文結(jié)構(gòu)化記憶和上下文非結(jié)構(gòu)化記憶，并介紹了六種基本的記憶操作：鞏固、更新、索引、遺忘、檢索和壓縮。盤(pán)點(diǎn)了幾十種記憶框架、產(chǎn)品、應(yīng)用！通過(guò)將這些操作系統(tǒng)地映射到長(zhǎng)期記憶、長(zhǎng)上下文記憶、參數(shù)修改和多源記憶等最相關(guān)的研究主題中，從原子操作和表示類(lèi)型的視角重新審視記憶系統(tǒng)，為AI中與記憶相關(guān)的研究、基準(zhǔn)數(shù)據(jù)集...

要訓(xùn)練一個(gè)性能卓越的LLM，計(jì)算資源是首要門(mén)檻。從數(shù)千顆GPU到優(yōu)化的內(nèi)存管理，再到高速網(wǎng)絡(luò)互連，每個(gè)環(huán)節(jié)都決定著模型的最終表現(xiàn)。傳統(tǒng)的AI計(jì)算架構(gòu)無(wú)法輕松支持如此龐大的計(jì)算負(fù)載，內(nèi)存容量不足、計(jì)算效率受限、網(wǎng)絡(luò)帶寬瓶頸成為橫亙?cè)贏I發(fā)展道路上的三座大山。5月14日，DeepSeekAI團(tuán)隊(duì)發(fā)表技術(shù)論文《InsightsintoDeepSeekV3:ScalingChallengesandReflectionsonHardwareforAIArchitectures》，公布了DeepSeekV3相關(guān)技術(shù)內(nèi)容...

制造業(yè)正處在數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)型的關(guān)鍵階段，人工智能、自動(dòng)化和數(shù)字技術(shù)的進(jìn)步讓生產(chǎn)流程變得更靈活、更精準(zhǔn)。但是真正的挑戰(zhàn)并不只是引入技術(shù)，而在于如何讓技術(shù)深度融合，使工廠具備智能決策能力，而不僅僅是自動(dòng)化執(zhí)行。智能制造的驅(qū)動(dòng)力來(lái)自多方面：市場(chǎng)變化要求生產(chǎn)具備更強(qiáng)的適應(yīng)性，供應(yīng)鏈的不確定性需要更精準(zhǔn)的預(yù)測(cè)，設(shè)備維護(hù)與優(yōu)化依賴(lài)數(shù)據(jù)分析。而要讓這些流程真正智能化，僅靠傳統(tǒng)AI遠(yuǎn)遠(yuǎn)不夠。當(dāng)前的AI解決方案仍然面臨...

Outshift：Cisco的創(chuàng)新引擎Outshift是Cisco專(zhuān)注于孵化前沿技術(shù)的創(chuàng)新部門(mén)，涵蓋領(lǐng)域包括互聯(lián)網(wǎng)智能體（InternetofAgents）、量子計(jì)算和下一代基礎(chǔ)設(shè)施等。其平臺(tái)工程團(tuán)隊(duì)主要負(fù)責(zé)構(gòu)建和維護(hù)復(fù)雜的云原生SaaS環(huán)境，支持各種內(nèi)部孵化項(xiàng)目。然而，隨著系統(tǒng)規(guī)模日益龐大，他們面臨著越來(lái)越棘手的挑戰(zhàn)：請(qǐng)求響應(yīng)緩慢：簡(jiǎn)單開(kāi)發(fā)者請(qǐng)求也可能需要數(shù)天處理。認(rèn)知負(fù)荷高：頻繁在不同工具和流程之間切換，影響專(zhuān)注力。運(yùn)維效率低：高價(jià)值...

一、Agent部署的獨(dú)特挑戰(zhàn)在傳統(tǒng)Web或移動(dòng)應(yīng)用的部署場(chǎng)景中，我們關(guān)注的是短平快的請(qǐng)求響應(yīng)流程，而智能Agent通常具有以下幾大不同：長(zhǎng)時(shí)執(zhí)行有的Agent需要在后臺(tái)持續(xù)運(yùn)行（如定時(shí)調(diào)度、環(huán)境觸發(fā)），完成復(fù)雜的多步任務(wù)，可能耗時(shí)數(shù)分鐘甚至數(shù)小時(shí)。中途失敗風(fēng)險(xiǎn)高，必須依賴(lài)持久化機(jī)制保證任務(wù)能夠斷點(diǎn)續(xù)跑。異步協(xié)同Agent往往需與人或其他Agent協(xié)同：等待人類(lèi)審批、監(jiān)聽(tīng)外部事件或調(diào)用下游服務(wù)。人員響應(yīng)可能即時(shí)，也可能延遲...

今天給大家介紹一篇使用大語(yǔ)言模型結(jié)合知識(shí)蒸餾方法，構(gòu)建高效輕量級(jí)時(shí)間序列預(yù)測(cè)模型的方法。文中基于大語(yǔ)言模型通過(guò)多模態(tài)建模優(yōu)化適配到時(shí)間序列數(shù)據(jù)，并進(jìn)一步通過(guò)優(yōu)勢(shì)知識(shí)蒸餾將大模型信息蒸餾到小模型中，實(shí)現(xiàn)模型尺寸不變而具備大模型知識(shí)的目的，提升時(shí)序預(yù)測(cè)效果。論文標(biāo)題：EfficientMultivariateTimeSeriesForecastingviaCalibratedLanguageModelswithPrivilegedKnowledgeDistillation下載地址：??https:arxiv.org...

在最近的文章中，筆者介紹了影響Context高質(zhì)量供給的關(guān)鍵因素有記憶的存用和記憶的連貫性。而對(duì)記憶源信息（尤其是復(fù)雜文檔）的深度理解是高質(zhì)量Conext供給的又一大關(guān)鍵。傳統(tǒng)的文本提取和分塊方法，在面對(duì)圖文混排、表格遍布的文檔時(shí)，往往力不從心，生成的Context質(zhì)量堪憂(yōu)，這已成為提升RAG應(yīng)用性能的一大瓶頸。我們都曾經(jīng)歷過(guò)這樣的“噩夢(mèng)”：精心構(gòu)建的RAG系統(tǒng)，因?yàn)镺CR識(shí)別錯(cuò)誤、表格內(nèi)容丟失、或者圖片信息被忽略，導(dǎo)致LL...

OpenAI在本周末尾丟出重磅炸彈！新的AI編程智能體Codex的研究預(yù)覽版現(xiàn)身。這是該OpenAI迄今為止最強(qiáng)大的AI編程代理，不夸張地說(shuō)，這就是雇傭最會(huì)編程的AI來(lái)幫助我們敲代碼。圖片Codex最大的亮點(diǎn)之一是可以將多個(gè)編程任務(wù)并行處理。圖片OpenAI曾在媒體簡(jiǎn)報(bào)中說(shuō)，“Codex是一個(gè)基于云的AI軟件工程智能體，能夠并行處理多個(gè)任務(wù)，并在一臺(tái)屬于它自己的計(jì)算機(jī)上安全、獨(dú)立地運(yùn)行。”Codex有多強(qiáng)？不妨看看今天直播中的一個(gè)真實(shí)案例...

作者云昭出品51CTO技術(shù)棧（微信號(hào)：blog51cto）一款A(yù)gent究竟是怎樣讓大模型具備“ToolUse”，即工具調(diào)用的能力？今天，有一位正在創(chuàng)建編碼Agent的狠人出來(lái)曝光了這個(gè)算法邏輯。這位狠人，名為PhilipZeyliger，過(guò)去幾個(gè)月，他和他的團(tuán)隊(duì)一直在開(kāi)發(fā)一款名為“Sketch”的AI編程助手。然后，他寫(xiě)了幾篇博客，總結(jié)了開(kāi)發(fā)過(guò)程中的經(jīng)驗(yàn)。其中最讓Zeyliger震驚的是：其實(shí)大模型在搭配“ToolUse”使用時(shí)，根本沒(méi)我們想象的復(fù)雜！它的主...

隨著人工智能技術(shù)在醫(yī)療領(lǐng)域的深度融合與醫(yī)學(xué)影像技術(shù)的持續(xù)革新，作為解鎖生命奧秘的關(guān)鍵鑰匙，醫(yī)學(xué)數(shù)據(jù)正以爆發(fā)式的速度累積增長(zhǎng)。它突破了傳統(tǒng)醫(yī)學(xué)研究的邊界，為疾病診療與健康管理帶來(lái)了革命性的變革。在醫(yī)學(xué)研究從經(jīng)驗(yàn)驅(qū)動(dòng)邁向數(shù)據(jù)驅(qū)動(dòng)的進(jìn)程中，基礎(chǔ)研究工具的迭代速度逐漸放緩，醫(yī)學(xué)數(shù)據(jù)集質(zhì)量成為決定模型能否從理論構(gòu)想走向臨床實(shí)用的核心要素。高質(zhì)量的醫(yī)學(xué)數(shù)據(jù)不僅能精準(zhǔn)捕捉疾病特征，更能為個(gè)性化醫(yī)療方案的制定...

?編輯云昭?出品51CTO技術(shù)棧（微信號(hào)：blog51cto）?昨天其實(shí)發(fā)生了一件很“荒唐+滑稽”的事情，小編忍住沒(méi)有報(bào)道。但忽然發(fā)現(xiàn)不對(duì)勁，得報(bào)。事情是這樣的：5月15日，Grok自己瘋狂輸出有關(guān)“南非白人種族”的暴論。事情鬧得挺大的，引來(lái)了129萬(wàn)人的圍觀。其實(shí)網(wǎng)友們自然猜想道Grok應(yīng)該是出問(wèn)題，大概率得了“失心瘋”，于是乎在評(píng)論紛紛質(zhì)問(wèn)Grok：isthistrue？這是真的嗎？小編當(dāng)時(shí)心想，這不跟此前另外某家大廠的多模態(tài)作圖時(shí)...

文章鏈接：https:arxiv.orgpdf2505.09568代碼鏈接：https:github.comJiuhaiChenBLIP3o模型鏈接：https:huggingface.coBLIP3oBLIP3oModel預(yù)訓(xùn)練數(shù)據(jù)：https:huggingface.codatasetsBLIP3oBLIP3oPretrain優(yōu)化數(shù)據(jù)：https:huggingface.codatasetsBLIP3oBLIP3o60k亮點(diǎn)直擊創(chuàng)新架構(gòu)設(shè)計(jì):首次采用擴(kuò)散Transformer生成CLIP語(yǔ)義特征，突破傳統(tǒng)VAE局限，實(shí)現(xiàn)高效訓(xùn)練與高質(zhì)量生成。分階段訓(xùn)練策略:通過(guò)“理解優(yōu)先，生成擴(kuò)展”的序列化訓(xùn)...

網(wǎng)頁(yè)搜索體驗(yàn)如今正在快速改進(jìn)，用戶(hù)無(wú)需瀏覽大量網(wǎng)頁(yè)即可獲取準(zhǔn)確信息。Fellou作為新的瀏覽代理工具，能夠理解用戶(hù)需求，自動(dòng)搜索、創(chuàng)建報(bào)告、跨網(wǎng)站工作、安全登錄私人網(wǎng)站，為用戶(hù)節(jié)省時(shí)間，提升搜索體驗(yàn)。回顧過(guò)去一年，人們?yōu)g覽網(wǎng)頁(yè)的方式發(fā)生了翻天覆地的變化。這一切始于Perplexity和Copilot為搜索查詢(xún)提供更詳細(xì)、更個(gè)性化的答案，隨后ChatGPT在其界面中添加了網(wǎng)頁(yè)搜索功能，進(jìn)一步推動(dòng)了這一趨勢(shì)。如今，無(wú)論是Grok、Q...

在最近文章中，筆者反復(fù)提到context的重要性（歡迎關(guān)注查閱）。而供給高質(zhì)量的Context的關(guān)鍵就是記憶的存用和記憶的連貫性。mem0就是一個(gè)專(zhuān)注構(gòu)建大模型記憶的項(xiàng)目，在此前文章也有介紹（???大模型的“記憶”不應(yīng)僅僅只依靠向量數(shù)據(jù)庫(kù)，mem0是一個(gè)很好的“融合架構(gòu)”實(shí)踐方向???）。在此之前它們推出一個(gè)插件（???Mem0上架chrome插件商店，把記憶交給AI！???）解決在一個(gè)工具里多次交流的長(zhǎng)期記憶問(wèn)題，最近OpenAI...

為什么要用AI大模型+Python做web自動(dòng)化？Python因其簡(jiǎn)潔易用和豐富的生態(tài)系統(tǒng)，成為自動(dòng)化領(lǐng)域的首選語(yǔ)言。Playwright作為微軟推出的跨瀏覽器自動(dòng)化框架，支持Chromium、Firefox和WebKit，功能強(qiáng)大且穩(wěn)定。結(jié)合AI大模型的智能對(duì)話(huà)能力，我們可以讓瀏覽器“聽(tīng)懂”指令，自動(dòng)完成復(fù)雜任務(wù)，極大提升工作效率。為什么要用AI大模型+Python做web自動(dòng)化？一、環(huán)境的安裝1、前提條件2、創(chuàng)建虛擬環(huán)境以及對(duì)應(yīng)包二、獲取大模型API三、代...