最近很多人在提Agent,有人說它是大模型的下一步,有人說它是通往AGI的路徑。但實際上,對于大多數做技術落地的人來說,Agent到底能干什么、適合解決哪些問題、怎么用才合適,反而是更值得關注的。我的觀點“先規劃,再執行,還能自查”的過程,其實就是Agent的基本思想。Agent是一種思想,不是技術!一、先說最本質的一點:為什么會需要Agent?我們先從現實出發。大模型出來之后,最開始大家用它寫點文案、改代碼、問點問題,...
最近不少人在聊“大模型蒸餾”,但說實話,很多介紹都太學術、太高深,讓人一看就頭大。其實這件事背后的邏輯沒那么復雜,本質上就是想辦法讓大模型變得更輕、更快、更好用。我覺得蒸餾不是縮小模型,是提煉能力!一、先說微調,是“教大模型學點你的事兒”現在很多大模型(比如ChatGPT、DeepSeek)都是通用模型,它們懂得挺多,但不一定了解你具體要解決的問題。比如:它沒看過你公司內部的數據;它不知道你要的回答格式;它對...
2025-05-28 06:48:19 571瀏覽 0點贊 0回復 0收藏
最近很多人在提Agent,有人說它是大模型的下一步,有人說它是通往AGI的路徑。但實際上,對于大多數做技術落地的人來說,Agent到底能干什么、適合解決哪些問題、怎么用才合適,反而是更值得關注的。我的觀點“先規劃,再執行,還能自查”的過程,其實就是Agent的基本思想。Agent是一種思想,不是技術!一、先說最本質的一點:為什么會需要Agent?我們先從現實出發。大模型出來之后,最開始大家用它寫點文案、改代碼、問點問題,...
2025-05-15 00:43:50 1026瀏覽 0點贊 0回復 0收藏
現在很多人讓大模型調用外部工具,最常見的做法就是FunctionCalling。乍一看,能調起來沒問題。但真要接多個服務、跑一個完整流程,FunctionCalling就顯得太粗糙了——定義繁瑣、結構不統一、模型換一個就得重寫一遍。本質上,它解決的只是“能不能調用”,但沒解決“怎么標準、高效地調用”。而MCP出現,就是為了解決這個“工程化不成體系”的問題。我認為FunctionCalling更像是“你教模型怎么用某個函數”;而MCP,是“你把這...
2025-04-28 23:17:21 1491瀏覽 0點贊 0回復 0收藏
很多人想部署大模型,比如GLM、ChatGLM、DeepSeek、MiniCPM,一到實際部署就開始發愁:到底要不要3090?用A10行不行?這個模型說自己是7B,我電腦夠嗎?為啥有的說13G能跑,有的一跑就爆顯存?其實這些都不是玄學,只要你搞清楚:模型有多大、怎么壓縮、你準備怎么用,機器需求是能算出來的。給大家一個計算顯存的公式:顯存≈參數量×精度字節數×1.52(考慮運行中額外占用)一、先把問題拆開:我們到底要算啥?按照Agent的思...
2025-04-17 07:43:16 1858瀏覽 0點贊 0回復 0收藏