快手的Chang等人于2023年在論文《PEPNet:ParameterandEmbeddingPersonalizedNetworkforInfusingwithPersonalizedPriorInformation》中正式提出了PEPNet模型，用于建模推薦系統(tǒng)中的多任務(wù)多領(lǐng)域問題。本文將從PEPNet模型提出的動機(jī)、問題建模、模型結(jié)構(gòu)及工程優(yōu)化策略方面進(jìn)行詳細(xì)的闡述。1.PEPNet模型的提出動機(jī)（1）多任務(wù)學(xué)習(xí)：出發(fā)點(diǎn)是不同的任務(wù)之間存在稀疏性和依賴性。但由于不同任務(wù)具有獨(dú)特的稀疏性和相互影響，很難在...

前幾天寫的文章??《Trae+Dify10分鐘構(gòu)建DataMcpServer與Agent，和Excel說再見！》??，跟大家一起實(shí)現(xiàn)了簡單的大模型數(shù)據(jù)處理，返回的最后結(jié)果只是json格式的數(shù)據(jù)。今天我們做一個完整的聊天應(yīng)用，可以在聊天結(jié)果中實(shí)現(xiàn)數(shù)據(jù)可視化分析。標(biāo)題說效果直逼ChatGPT，還是有點(diǎn)差距的，這差距多大呢，差不多一光年吧！畢竟我們今天做的還只是玩具。我們先一起來看一下ChatGPT如何實(shí)現(xiàn)數(shù)據(jù)可視化結(jié)果的呈現(xiàn)。很顯然，ChatGPT的思路和...

這兩天AI產(chǎn)品的頻繁出圈，都把大家整焦慮了，我朋友圈有同學(xué)宣布一個月不看AI新聞，閉關(guān)了。為啥，都是Manus鬧的。當(dāng)然，背后其實(shí)是自媒體無底線的尬吹。我今天一直在考慮要不要蹭Manus的流量，內(nèi)心糾結(jié)了半天，后來看到某大V連續(xù)兩天發(fā)的文章，就釋懷了。人家是真本事啊，第一天把Manus吹上天，第二天又發(fā)文理性批評，真是妙啊，好人壞人都當(dāng)了，這流量賺的的是滿滿的。真是昨天叫人家小甜甜，今天改叫人家牛夫人了，像極了一...

PathRAG也是一種新型GraphbasedRAG方法，通過檢索索引圖中的關(guān)鍵關(guān)系路徑，減少噪聲并優(yōu)化LLM提示。其核心創(chuàng)新在于基于流的剪枝算法和路徑為基礎(chǔ)的提示策略，特別適用于捕捉復(fù)雜數(shù)據(jù)集中的關(guān)系。（其實(shí)可以看做相比GraphRAG假如剪枝算法和路徑提示策略，減少噪聲并提升性能）三種GraphbasedRAG對比總結(jié)（PathRAG、GraphRAG、LightRAG）：?PathRAG：通過從索引圖中檢索關(guān)鍵的關(guān)系路徑來減少冗余信息。PathRAG使用基于流的剪枝算...

一、引言：AI發(fā)展浪潮中的新探索在當(dāng)今科技飛速發(fā)展的時代，人工智能（AI）正以前所未有的速度不斷前進(jìn)。科學(xué)家們持續(xù)鉆研，開發(fā)出各種用于知識共享、信息表達(dá)、推理以及決策的創(chuàng)新方法。近年來，檢索增強(qiáng)生成（RetrievalAugmentedGeneration，簡稱RAG）技術(shù)異軍突起，備受矚目。它能夠?qū)⒋笮驼Z言模型與外部最新知識相結(jié)合，為模型的輸出提供堅實(shí)的事實(shí)依據(jù)。與此同時，AI智能體，作為一種能夠感知環(huán)境并做出響應(yīng)的智能軟件，在...

01、概述我們可能已經(jīng)聽說了Deepseek，但你是否也注意到Ollama上提到了Deepseek的蒸餾模型？或者，如果你嘗試過GroqCloud，可能會看到類似的模型。那么，這些“distil”模型到底是什么呢？在這一背景下，“distil”指的是組織發(fā)布的原始模型的蒸餾版本。蒸餾模型本質(zhì)上是較小且更高效的模型，設(shè)計目的是復(fù)制較大模型的行為，同時減少資源需求。這種技術(shù)由GeoffreyHinton在2015年的論文“DistillingtheKnowledgeinaNeuralNetwork...

01、概述在人工智能領(lǐng)域，開發(fā)既緊湊又高性能的語言模型一直是一個巨大的挑戰(zhàn)。大型模型雖然表現(xiàn)卓越，但往往需要龐大的計算資源，這讓許多硬件能力有限的用戶和組織望而卻步。與此同時，市場對多任務(wù)處理、多語言支持和高效準(zhǔn)確響應(yīng)的需求日益增長。如何在性能、可擴(kuò)展性和可訪問性之間找到平衡，尤其是在本地部署和數(shù)據(jù)隱私方面，成為了一個關(guān)鍵問題。這也催生了創(chuàng)新的需求：我們需要更小、更高效的模型，既能媲美大型模型的...

分塊策略在RAG中至關(guān)重要，目的是提高效率、相關(guān)性和上下文保持。分塊能減少計算開銷，增加檢索相關(guān)信息的可能性，同時保持信息完整性。但也存在風(fēng)險，如上下文丟失、冗余和不一致性。選擇策略需考慮文檔類型（結(jié)構(gòu)化vs非結(jié)構(gòu)化）、查詢復(fù)雜性、資源可用性和期望結(jié)果（速度vs準(zhǔn)確性vs上下文）。以下是13種獨(dú)特分塊策略的詳細(xì)描述，按策略名稱、描述、優(yōu)點(diǎn)、缺點(diǎn)和實(shí)施建議。僅供參考。策略名稱描述優(yōu)點(diǎn)缺點(diǎn)實(shí)施建議固定長度分塊...

Phi4Multimodal是一種參數(shù)高效的多模態(tài)模型，通過LoRA適配器和模式特定路由器實(shí)現(xiàn)文本、視覺和語音音頻的無縫集成。訓(xùn)練過程包括多階段優(yōu)化，確保在不同模式和任務(wù)上的性能，數(shù)據(jù)來源多樣，覆蓋高質(zhì)量合成數(shù)據(jù)。它的設(shè)計體現(xiàn)了小型語言模型在多模態(tài)任務(wù)上的潛力。模型架構(gòu)模型架構(gòu)Phi4Multimodal的基礎(chǔ)是Phi4Mini語言模型，這是一個3.8億參數(shù)的模型，設(shè)計為高效處理文本任務(wù)。架構(gòu)包括：Transformer層和維度：32層Transformer，...

“自定義數(shù)據(jù)集既是未來人工智能技術(shù)的重點(diǎn)，也是人工智能技術(shù)的難點(diǎn)”在人工智能領(lǐng)域中，數(shù)據(jù)的重要性得到了充分的體現(xiàn)；但很多人還不知道怎么打造一個數(shù)據(jù)集，所以今天我們就用一些圖片來模仿MINST數(shù)據(jù)集打造一個類MINST數(shù)據(jù)集，能夠直接被神經(jīng)網(wǎng)絡(luò)加載和使用。當(dāng)然，為了簡單起見我們對數(shù)據(jù)就只進(jìn)行簡單的處理，如統(tǒng)一圖片大小，不會按照嚴(yán)格的數(shù)據(jù)處理方式；比如說圖片裁剪，增強(qiáng)等。自定義數(shù)據(jù)集實(shí)現(xiàn)以MINST數(shù)據(jù)集為例，其...

“在目前的神經(jīng)網(wǎng)絡(luò)應(yīng)用中，數(shù)據(jù)集是對大部分企業(yè)需要面臨的主要問題。”數(shù)據(jù)集作為神經(jīng)網(wǎng)絡(luò)模型中的一個必要環(huán)節(jié)，其重要性不言而喻；雖然網(wǎng)絡(luò)上有很多開源的數(shù)據(jù)集，但對很多場景來說需要自定義數(shù)據(jù)集才能滿足自身的需求。從目前的大模型發(fā)展來看，大部分企業(yè)選擇在開源模型的基礎(chǔ)之上做訓(xùn)練和微調(diào)是比較好的選擇；而這時，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就不是主要的技術(shù)難點(diǎn)，反而是數(shù)據(jù)成為了很多企業(yè)的痛點(diǎn)，成為亟待解決的問題。因此，怎...

今天凌晨1點(diǎn)，OpenAI發(fā)布了最新研究，用CoT（思維鏈）監(jiān)控的方式，可以阻止大模型胡說八道、隱藏真實(shí)意圖等惡意行為，同時也是監(jiān)督超級模型的有效工具之一。OpenAI使用了最新發(fā)布的前沿模型o3mini作為被監(jiān)控對象，并以較弱的GPT4o模型作為監(jiān)控器。測試環(huán)境為編碼任務(wù)，要求AI在代碼庫中實(shí)現(xiàn)功能以通過單元測試。結(jié)果顯示，CoT監(jiān)控器在檢測系統(tǒng)性“獎勵黑客”行為時表現(xiàn)卓越，召回率高達(dá)95%，遠(yuǎn)超僅監(jiān)控行為的60%。隨著o1、o3、R...

Manus是一款通用型AI助手，能將想法轉(zhuǎn)化為行動：不止于思考，更注重成果。Manus擅長處理工作與生活中的各類任務(wù)，在你安心休息的同時，一切都能妥善完成。Manus的名字源自拉丁語中“手”的含義，寓意其具備將思維轉(zhuǎn)化為行動的強(qiáng)大能力。不同于常規(guī)的AI助手，Manus不僅限于提供咨詢或答復(fù)，它還能直接完成任務(wù)的交付。作為一款“全能AI代理”，Manus能夠獨(dú)立完成從簡單查詢到復(fù)雜項目的各種任務(wù)，無需用戶持續(xù)介入。用戶只需給出...

論文鏈接：https:arxiv.orgpdf2502.18461項目鏈接：https:klora.github.ioKLoRA.io亮點(diǎn)直擊提出了KLoRA，一種簡單而有效的優(yōu)化技術(shù)，能夠無縫融合內(nèi)容和風(fēng)格LoRA，從而在保留細(xì)節(jié)的同時生成任何主題的任意風(fēng)格。本文的方法用戶友好，無需重新訓(xùn)練，可直接應(yīng)用于現(xiàn)有的LoRA權(quán)重。它在多樣化的圖像風(fēng)格化任務(wù)中表現(xiàn)出色，超越了現(xiàn)有方法。總結(jié)速覽解決的問題風(fēng)格與內(nèi)容的同時保留：現(xiàn)有方法在融合不同LoRA（LowRankAdaptation）時...

誰需要超級計算機(jī)？僅用15GBVRAM就可以訓(xùn)練你自己的功能強(qiáng)大的AI推理模型！DeepSeek的R1模型在不需要人類反饋的情況下就能進(jìn)行更深思熟慮的推理，已顛覆了大語言模型（LLM）領(lǐng)域。這一重大突破背后的關(guān)鍵是群體相對策略優(yōu)化（GRPO），這是一種幫助模型自主開發(fā)推理能力的強(qiáng)化學(xué)習(xí)技術(shù)。與依賴值函數(shù)的近端策略優(yōu)化（PPO）不同，GRPO在不需要值函數(shù)的情況下就可以優(yōu)化響應(yīng)，從而提高了效率。開發(fā)更好的推理模型的競賽正如火如荼...

前面一篇文章介紹了??《從0開發(fā)大模型之DeepSeek的GRPO》??，并且實(shí)現(xiàn)了一個簡單版本的GRPO?代碼，不過從工程領(lǐng)域來看，并沒有復(fù)現(xiàn)DeepSeekR1，于是最近申請了48G的顯存，結(jié)合一些開源的方案復(fù)現(xiàn)ahamonent，并給出完整的代碼和工具鏈。1、什么是ahamonentDeepSeekR1論文中提到，模型讓作者「見證了強(qiáng)化學(xué)習(xí)的力量和美感」，在DeepSeekR1Zero的中間版本，「頓悟時刻」來了：模型學(xué)會了以人類的語氣進(jìn)行反思。ahamonent2、使...

我在今年1月初寫了2025年的AIAgent發(fā)展十三大趨勢，其中兩個趨勢是多Agent系統(tǒng)開始流行和GUIAgent產(chǎn)品得到更多應(yīng)用，沒想到來得這么快。推薦閱讀：???智能體商用元年開啟，2025年AIAgent行業(yè)發(fā)展十三大趨勢??最近幾天，集多Agent架構(gòu)、computeruse、GUI智能體等技術(shù)和概念于一身的Manus，通過一些媒體、科技博主的報道和渲染，在“比肩DeepSeek”“AIAgent的GPT時刻”等一浪強(qiáng)過一浪的聲浪中，Manus一夜出圈。官方資料顯示...

在之前的Agent系列文章中，我們?nèi)娼榻B了AI智能體，探討了它們的特征、組成部分、發(fā)展歷程、面臨的挑戰(zhàn)以及未來的可能性。在這篇文章中，我們將深入探索如何使用Python從零開始構(gòu)建一個智能體。這個智能體將具備根據(jù)用戶輸入做出決策、選擇合適工具并相應(yīng)執(zhí)行任務(wù)的能力。現(xiàn)在，就讓我們開啟這個有趣的構(gòu)建之旅吧！一、什么是智能體？智能體是一種能夠感知其所處環(huán)境、做出決策并采取行動以實(shí)現(xiàn)特定目標(biāo)的自主實(shí)體。智能體的復(fù)...

摘要本文針對安全多方計算（MPC）框架下通用矩陣乘法（GEMM）運(yùn)算的性能瓶頸，提出一種全新的MPCGEMM實(shí)現(xiàn)方案。該方案的核心思想在于：基于加法秘密共享重構(gòu)DeepSeekDeepGEMM的CUDAkernel，將MPC協(xié)議的邏輯與DeepGEMM的底層優(yōu)化深度融合，消除MPC協(xié)議與GPU計算之間的“兩張皮”現(xiàn)象。方案采用INT8FP8數(shù)據(jù)表示、秘密共享運(yùn)算的kernel級實(shí)現(xiàn)、Hopper架構(gòu)優(yōu)化（如適用）、GPU并行Beaver三元組生成以及JIT編譯等關(guān)鍵技術(shù)。本文將詳...

在當(dāng)今人工智能的浪潮中，RAG（檢索增強(qiáng)生成）技術(shù)大放異彩，像是RAGFlow、Qanything、Dify、FastGPT等RAG引擎，逐漸走進(jìn)大家的視野。在這些強(qiáng)大的RAG引擎背后，有一個關(guān)鍵組件起著不可或缺的作用，它就是嵌入模型（EmbeddingModel）。今天，就讓我們一起深入了解一下這個神秘的嵌入模型吧！1.Embedding究竟是什么？在了解嵌入模型之前，得先搞清楚Embedding的概念。簡單來說，Embedding是一種“神奇魔法”，能把離散的非結(jié)構(gòu)化...