本文對代理知識蒸餾中的金字塔搜索方法進行了深入分析，并通過實際案例展示了基于這種技術(shù)可以較好地克服文檔提取和RAG策略失敗問題。簡介當下，許多生成式AI應(yīng)用場景仍然圍繞檢索增強生成（RAG）展開，但始終未能滿足用戶的期望。盡管對RAG改進的研究越來越多，甚至在流程中添加了代理技術(shù)，但許多解決方案仍然無法返回詳盡的結(jié)果，遺漏了文檔中很少提及的關(guān)鍵信息，需要多次搜索迭代，并且通常難以協(xié)調(diào)多個文檔中的關(guān)鍵主題。...

位置編碼（PostitionalEncoding）是Transformer架構(gòu)中的關(guān)鍵技術(shù)之一。不同于卷積神經(jīng)網(wǎng)絡(luò)利用局部感受野、共享權(quán)重和池化操作等機制，可以自然地感受輸入數(shù)據(jù)的空間位置信息，也不同于循環(huán)神經(jīng)網(wǎng)絡(luò)憑借循環(huán)結(jié)構(gòu)和隱藏狀態(tài)的記憶與更新機制，能夠隱式地捕捉輸入序列中的時間順序信息，Tranformer架構(gòu)并未顯式地建模輸入序列中的絕對或相對位置信息，故需通過位置編碼技術(shù)顯式地注入位置信息，以使模型能更好地理解序列中不同位...

EfficientPersonalizationofQuantizedDiffusionModelwithoutBackpropagation20250319｜SNU,INMC&IPAI??18???http:arxiv.orgabs2503.14868v1????????https:huggingface.copapers2503.14868????????https:ignoww.github.ioZOODiPproject???研究背景與意義當前擴散模型在圖像生成領(lǐng)域表現(xiàn)出色，但其訓(xùn)練、微調(diào)和推理過程需要大量的計算和內(nèi)存資源。盡管量化技術(shù)成功減少了推理時的內(nèi)存使用，但訓(xùn)練和微調(diào)這...

背景大型語言模型（LLMs）如GPT4和LLaMA3憑借Transformer架構(gòu)的強大情境學(xué)習（InContextLearning,ICL）能力，能夠從有限的示例中快速學(xué)習并適應(yīng)新任務(wù)。然而，ICL的泛化邊界和脆弱性一直缺乏系統(tǒng)性的理解，這限制了其在實際應(yīng)用中的潛力發(fā)揮。清華大學(xué)的研究團隊通過定義一個以任務(wù)為中心的框架，從三個維度系統(tǒng)地研究了Transformer架構(gòu)在ICL下的泛化能力，并提出了優(yōu)化訓(xùn)練數(shù)據(jù)設(shè)計的重要指導(dǎo)原則。研究框架：三維泛化能力分析...

融合地理定位與對話能力的新型多模態(tài)模型圖像地理定位技術(shù)在過去幾年取得了顯著進展，但傳統(tǒng)模型僅限于提供GPS坐標，缺乏對位置的深入理解和與用戶進行有意義對話的能力。中佛羅里達大學(xué)的研究團隊最近提出了一種創(chuàng)新解決方案——GAEA（GeolocationAwareConversationalModel），這是首個將精確地理定位能力與豐富對話功能相結(jié)合的開源多模態(tài)模型。GAEA不僅能確定圖像的拍攝位置，還能提供關(guān)于該位置的詳細信息，包括附近的地標...

我們在寫Prompt可能經(jīng)常遇到不準確或者無法獲得外部知識，因此本文講述CoT和ReAct如何運作并提高大語言模型準確性。第一部分：CoT（思維鏈）1、什么是CoT通用的Prompt：問題：Roger有5個網(wǎng)球。他買了2罐網(wǎng)球。每罐有3個網(wǎng)球。他現(xiàn)在有多少個網(wǎng)球？答案：答案是11個。問題：自助餐廳有23個蘋果。如果他們用了20個來做午餐，又買了6個，他們現(xiàn)在有多少個蘋果？輸出答案：答案是29個。CoT的Prompt：問題：Roger有5個網(wǎng)球。他買了2...

AI智能體（AIAgent）近年來發(fā)展迅猛，展現(xiàn)出廣闊的應(yīng)用前景和巨大的商業(yè)潛力。不少優(yōu)秀企業(yè)也都推出了自己的AI智能平臺，每一家都各具特色，可滿足不同用戶的需求。本文將深入對比三大熱門智能體平臺：Dify、Coze和AWSAIAgent，幫助選型人員快速了解各自的優(yōu)勢和適用場景。1、Dify：國際化開發(fā)者的高效平臺Coze由字節(jié)跳動推出，主打低門檻、強對話體驗，適合C端用戶常用的對話類應(yīng)用場景，如客服和語音助手。該平臺功能全面，涵...

強化學(xué)習代表了我們對人工智能思考方式的深刻轉(zhuǎn)變——從僅僅識別模式的系統(tǒng)，轉(zhuǎn)變?yōu)橥ㄟ^交互學(xué)習并通過經(jīng)驗改進的智能體。正如我們將在本系列中看到的，這種范式正在推動當今一些最令人印象深刻的人工智能成就，并開辟機器學(xué)習研究的新前沿。強化學(xué)習的基礎(chǔ)擊敗圍棋世界冠軍的算法可不只是按程序設(shè)定運行，它還會學(xué)習。在復(fù)雜城市環(huán)境中自動駕駛的汽車，并非遵循著明確指令，而是在不斷適應(yīng)。重塑我們數(shù)字體驗的突破性語言模型...

AI大佬賈揚清創(chuàng)立僅兩年的LeptonAI要被巨頭收購了。3月27日，據(jù)外媒TheInformation報道，芯片巨頭英偉達即將把賈揚清的創(chuàng)業(yè)公司LeptonAI收入囊中。據(jù)透露，Nvidia正在就收購LeptonAI進行深入談判，此次交易價值將高達數(shù)億美元。這場交易看似低調(diào)，卻可能改寫AI基建規(guī)則。LeptonAI不囤積GPU，而是以“云原生+多云整合”技術(shù)調(diào)度全球分散資源，用戶租用GPU每小時僅多花幾分錢，還能用23行代碼部署AI模型，500行代碼打造對話式搜索...

送孩子上補習班的路上，孩子突然和我說起來白馬是不是馬的問題。我驚異于這個問題的來源，她說是看到了雜志上關(guān)于公孫龍子的“白馬非馬”和“離堅白”的介紹和討論，才有這樣的問題。我拼湊著腦袋里的蛛絲馬跡，試圖解釋公孫龍子的學(xué)說。雖然沒有給孩子解釋明白這個如何抽象出來的閉環(huán)邏輯，但是自己卻突然意識到名和實之間的邏輯關(guān)聯(lián)不就是現(xiàn)在的大語言模型所正在探索的領(lǐng)域嗎？于是歸納思路，便有此文。回顧一下，歷史上的抽...

余承東一句“全國人民都買得起”的豪言，讓華為PuraX的7499元起售價直接引爆輿論。這場發(fā)布會后，數(shù)碼圈基本分裂成兩派——有人高呼“國產(chǎn)折疊屏革命”，也有人嘲諷為“營銷翻車現(xiàn)場”。爭議焦點：價格與預(yù)期的撕裂余承東曾在預(yù)熱中暗示新機“價格親民”，但最終定價與網(wǎng)友期待的“三四千元”相差甚遠。網(wǎng)友調(diào)侃：“原來是12期免息，一個月600+就能買了”。另一邊，華為卻強調(diào)折疊屏鉸鏈、芯片、屏幕等技術(shù)創(chuàng)新需要高額成本，70...

譯者涂承燁審校重樓一家北歐深度科技初創(chuàng)公司宣布在人工智能領(lǐng)域取得突破性進展，成功創(chuàng)建了首個具備自主學(xué)習功能的“數(shù)字神經(jīng)系統(tǒng)”。2025年3月19日，隆德大學(xué)的衍生企業(yè)IntuiCell正式宣布，他們已成功研發(fā)出能夠像生物有機體般學(xué)習和適應(yīng)的人工智能，這項技術(shù)可能使當前眾多應(yīng)用場景中的傳統(tǒng)AI范式面臨淘汰。這項創(chuàng)新技術(shù)徹底顛覆了傳統(tǒng)的靜態(tài)機器學(xué)習模型，通過模擬生物神經(jīng)系統(tǒng)學(xué)習的核心原理實現(xiàn)突破。與依賴海量數(shù)據(jù)集和...

作者黃宇審校重樓2025年新春伊始，DeepSeek火爆全球，國產(chǎn)大模型橫空出世，以“免費+易用+高性能”的組合成功破圈，震動全球科技界。3月1日，DeepSeek官方披露，按照DeepSeekR1的token定價水平，公司一日之內(nèi)總收入為562027美元，成本利潤率高達545%。國產(chǎn)之光DeepSeek的朋友圈持續(xù)“擴容”，阿里、百度、騰訊等國內(nèi)企業(yè)，微軟、英偉達、亞馬遜等國際科技巨頭紛紛向DeepSeek拋出橄欖枝，“滿血版DeepSeek”一時間成了互聯(lián)網(wǎng)最新...

編輯言征出品51CTO技術(shù)棧（微信號：blog51cto）由于傳統(tǒng)的AI基準測試技術(shù)已被證明不夠充分，AI開發(fā)者開始采用更具創(chuàng)造性的方式來評估生成式AI模型的能力。對于一組開發(fā)者來說，這就是微軟旗下的沙盒建造游戲Minecraft。MinecraftBenchmark（或MCBench）網(wǎng)站是合作開發(fā)的，目的是讓人工智能模型在面對面的挑戰(zhàn)中相互競爭，用Minecraft創(chuàng)作來回答提示。用戶可以投票選出哪個模型做得更好，只有在投票后，他們才能看到每個Minecraf...

出品51CTO技術(shù)棧（微信號：blog51cto）這次，庫克終于出手了！重組蘋果AI管理層！近日來，蘋果AI難產(chǎn)的消息不脛而走。3月19日，根據(jù)彭博社披露的最新蘋果內(nèi)部會議記錄，Siri相關(guān)的AppleIntelligence關(guān)鍵功能正面臨嚴重的延期問題，甚至可能無法在iOS19中推出。很多業(yè)內(nèi)人士都曝光了此事，甚至嚴重到引發(fā)了當天大量用戶的集體訴訟，原因是「未能兌現(xiàn)AppleIntelligence承諾，涉嫌違反《反不正當競爭法》并誤導(dǎo)消費者」。業(yè)內(nèi)人士...

“學(xué)習技術(shù)要從解決實際問題出發(fā)，這樣才能更快更好的學(xué)習新技術(shù)，并不容易忘記；而如果單純的為了技術(shù)而學(xué)習技術(shù)，那么你將會一邊學(xué)一邊忘。”這段時間一直在學(xué)習神經(jīng)網(wǎng)絡(luò)技術(shù)，包括神經(jīng)網(wǎng)絡(luò)模型架構(gòu)，神經(jīng)網(wǎng)絡(luò)設(shè)計，數(shù)據(jù)集前置處理等；但這幾天突然發(fā)現(xiàn)一個問題，會看這段時間的學(xué)習，雖然不能說一點收獲都沒有，但卻覺得進度很慢，而效果也不好。比如說，到目前為止依然沒有理解怎么實現(xiàn)一個具體的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)，以及獨立設(shè)...

一、現(xiàn)狀：理想與現(xiàn)實的碰撞在金融、醫(yī)療、制造等領(lǐng)域，AI大模型正以顛覆性姿態(tài)重塑行業(yè)格局。以Deepseek為例，其開源生態(tài)已吸引超過300家金融機構(gòu)接入，覆蓋信貸、風控、投研等核心場景。某股份制銀行通過部署該模型，實現(xiàn)客戶畫像效率提升300%，但光鮮的數(shù)據(jù)背后暗藏隱憂：在復(fù)雜的跨境貿(mào)易融資場景中，模型對信用證條款的解析準確率僅為72%，遠低于預(yù)期。這種"技術(shù)理想主義"與"產(chǎn)業(yè)現(xiàn)實主義"的碰撞，暴露出大模型在垂直領(lǐng)域...

近日，英偉達發(fā)布NVIDIAIsaacGR00TN1。在人工智能與機器人技術(shù)的交匯處，NVIDIAIsaacGR00TN1的誕生標志著人形機器人領(lǐng)域的一次重大突破。作為全球首個開放的通用人形機器人推理與技能基礎(chǔ)模型，GR00TN1不僅能夠處理包括語言和圖像在內(nèi)的多模態(tài)輸入，還能在多樣化的環(huán)境中執(zhí)行復(fù)雜的操控任務(wù)。這一模型的訓(xùn)練基于龐大的人形機器人數(shù)據(jù)集，結(jié)合了真實捕捉數(shù)據(jù)、合成數(shù)據(jù)以及互聯(lián)網(wǎng)規(guī)模的視頻數(shù)據(jù)，使其具備了強大的適應(yīng)性和可定制...

文章鏈接:https:arxiv.orgpdf2503.12165項目鏈接：https:scnuhealthy.github.ioVTON360亮點直擊一種新穎的3D虛擬試衣（VTON）方法，即VTON360，能夠從任意視角實現(xiàn)高保真度的虛擬試衣。利用3D模型與其渲染的多視角2D圖像之間的等價性，將3DVTON重新定義為2DVTON的擴展，確保多視角下的一致性結(jié)果。具體而言，引入了多項新技術(shù)，包括：（i）偽3D姿態(tài)表示；（ii）多視角空間注意力機制；以及（iii）多視角CLIP嵌入。這些創(chuàng)新增強...

在自動駕駛公司訓(xùn)練一個感知模型需要消耗相當于300臺高端顯卡連續(xù)工作1個月的算力；某醫(yī)療AI團隊分析百萬級醫(yī)學(xué)影像時，計算成本一度超過硬件采購費用的60%。++當全球人工智能算力需求以每年10倍速度增長時，一種名為"算力租賃"的新型服務(wù)正在重構(gòu)計算資源的供給方式。++一、算力租賃的本質(zhì)解析算力租賃本質(zhì)上是算力資源的共享經(jīng)濟模式。它將分布在數(shù)據(jù)中心的高性能顯卡、TPU芯片、存儲陣列等硬件資源，通過虛擬化技術(shù)轉(zhuǎn)化為可...