那什么是粗暴的控制LLM的幻覺的方法呢？正常你們大家學(xué)到的應(yīng)該是temperature0topk1topp0.1類似這種的但是這種是不是能解決幻覺呢？很顯然在做的各位試過，應(yīng)該是沒什么效果的。為什么呢正常來講，我們不是把生成nexttoken的概率放到最大的那個(gè)token上了嗎？今天先回憶個(gè)概念LLM是靠什么來決定nexttoken生成的，就是Logit，就是softmax你的前向計(jì)算的最后一層（這么表達(dá)不精確，但是你可以認(rèn)為就算最后一層了）過了output之后呢...

對模型的泛化性能進(jìn)行評估，不僅需要有效可行的試驗(yàn)估計(jì)方法，還需要具有衡量模型泛化能力的評價(jià)標(biāo)準(zhǔn)，即性能度量。且在不同的任務(wù)中對比模型的性能時(shí)，使用不同的性能度量往往會導(dǎo)致不同的評判結(jié)果。在分類任務(wù)中，最常用的性能度量有錯(cuò)誤率、精度、查準(zhǔn)率、查全率、F1分?jǐn)?shù)及AUCROC曲線。本文將首先介紹錯(cuò)誤率、精度、查準(zhǔn)率、查全率、PR曲線與平衡點(diǎn)及F1分?jǐn)?shù)的詳細(xì)原理。1.錯(cuò)誤率與精度(1)錯(cuò)誤率(errorrate)是分類錯(cuò)誤的樣本...

在短視頻成為億萬用戶日常生活標(biāo)配的當(dāng)下，它不僅是一種娛樂方式，更是人們獲取信息、表達(dá)觀點(diǎn)、構(gòu)建社交的主要媒介。隨著內(nèi)容量的井噴式增長，平臺面臨著前所未有的挑戰(zhàn)：一方面，需要更高效地識別和管理內(nèi)容；另一方面，必須精準(zhǔn)地將優(yōu)質(zhì)內(nèi)容推送給真正感興趣的用戶。大模型技術(shù)，尤其是多模態(tài)大模型，正迅速成為人工智能領(lǐng)域的新引擎，具備強(qiáng)大的圖文音視頻理解能力。但在短視頻生態(tài)這一復(fù)雜、高速演化的場景中，如何將這些...

剛剛，全球首個(gè)設(shè)計(jì)類AI智能體平臺Lovart正式開放Beta測試，短短數(shù)小時(shí)便引爆設(shè)計(jì)圈。這款被用戶戲稱為“賽博設(shè)計(jì)師”的工具，僅憑一句指令，就能從LOGO設(shè)計(jì)、品牌視覺系統(tǒng)到廣告成片全鏈路輸出，甚至主動追問用戶需求細(xì)節(jié)。它打破了傳統(tǒng)AI工具的單點(diǎn)突破模式。不同于文生圖工具被動接收指令，Lovart更像一位擁有自主決策能力的專業(yè)設(shè)計(jì)師。Lovart集成了GPTimage1、FluxPro、GeminiImagen3等12款頂尖模型，把這些能生成圖片、視...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）第一批因?yàn)锳I裁員的公司，又把員工請回來了！曾信誓旦旦宣布“一個(gè)AI頂700個(gè)客服”的Klarna，如今不得不親自“打臉”。圖片這家全球領(lǐng)先的“先買后付”平臺（類似于國內(nèi)的“螞蟻花唄”），在2024年接入OpenAI技術(shù)后，便風(fēng)風(fēng)火火地AllinAI：暫停招聘、削減成本，甚至計(jì)劃用AI逐步取代多達(dá)數(shù)千名的外包客服。一年多過去了，這場“AI替代人類勞動力”的實(shí)驗(yàn)被叫停了！Klarna再也無法...

1977年，英國生物化學(xué)家弗雷德里克·桑格（FrederickSanger）在解析ΦX174噬菌體基因組時(shí)，首次發(fā)現(xiàn)了一個(gè)顛覆認(rèn)知的現(xiàn)象：這個(gè)僅5.4kb的DNA分子編碼的蛋白質(zhì)總長度，遠(yuǎn)超其物理容量限制。測序結(jié)果揭示，兩對基因通過不同閱讀框架共享同一DNA區(qū)域——這種被稱為重疊基因（OLG）的現(xiàn)象，在病毒世界中極為普遍。例如，乙型肝炎病毒3.2kb基因組中，50%區(qū)域被多對重疊基因覆蓋，超過半數(shù)已知病毒至少含有一個(gè)OLG。這種突破直覺的基...

編輯云昭出品51CTO技術(shù)棧（微信號：blog51cto）就在剛剛！OpenAI為其Agent代表作DeepResearch功能推出了一項(xiàng)全新的PDF導(dǎo)出功能，允許用戶下載格式完整的研究報(bào)告，包括表格、圖片和可點(diǎn)擊的引用鏈接。這一看似不起眼的小動作意外引來了大批量用戶的歡呼！迅速贏得了40萬人的圍觀、5200+贊。圖片OpenAI在X平臺上宣布了這一功能：現(xiàn)在，用戶可以將DeepResearch報(bào)告導(dǎo)出為格式良好的PDF文件——包含表格、圖片、帶鏈接的引用和來源...

本文對o3、o4mini和Gemini2.5Pro這三種人工智能模型進(jìn)行了一系列測試，涵蓋物理謎題、數(shù)學(xué)問題、編碼任務(wù)及現(xiàn)實(shí)世界智商測試等，旨在評估它們在壓力下的高級推理能力。隨著技術(shù)的發(fā)展和進(jìn)步，人工智能模型越來越智能，但究竟哪一種人工智能模型能在壓力下展現(xiàn)出真正的推理能力？本文對o3、o4mini和Gemini2.5Pro這三種人工智能模型進(jìn)行了一系列測試：物理謎題、數(shù)學(xué)問題、編碼任務(wù)和現(xiàn)實(shí)世界的智商測試。而應(yīng)對這些挑戰(zhàn)并沒有任...

Perception,Reason,Think,andPlan:ASurveyonLargeMultimodalReasoningModels20250508｜HIT,Shenzhen??79??http:arxiv.orgabs2505.04921v1??????https:huggingface.copapers2505.04921??????https:github.comHITszTMGAwesomeLargeMultimodalReasoningModels??研究背景與意義智能推理的核心地位：推理作為智能行為的核心，賦予人工智能系統(tǒng)在多變、不確定及多模態(tài)環(huán)境中做出決策、歸納總結(jié)及跨領(lǐng)域泛化的能力。隨...

大語言模型(LLM)在各種應(yīng)用場景中展現(xiàn)出了令人矚目的能力，但其固有的知識靜態(tài)性和更新滯后性一直是制約其實(shí)際應(yīng)用的關(guān)鍵因素。為解決這一問題，阿里巴巴統(tǒng)一實(shí)驗(yàn)室(TongyiLab)的研究團(tuán)隊(duì)提出了一種創(chuàng)新的解決方案——ZeroSearch，這是一個(gè)無需與真實(shí)搜索引擎交互即可增強(qiáng)LLM搜索能力的強(qiáng)化學(xué)習(xí)框架。本文將深入分析這項(xiàng)突破性技術(shù)的原理、實(shí)現(xiàn)方法及其重要意義。1.研究背景與挑戰(zhàn)大語言模型雖然在數(shù)學(xué)推理、問答和代碼生成等多...

最近，AIAgent和外部工具之間的互動變得越來越流行。從OpenAI最先推出的FunctionCalling功能，到各種插件和框架，大家都在努力讓AI模型能更有效地調(diào)用外部的功能。不過，目前這些集成方式還是比較分散，開發(fā)者需要為每個(gè)服務(wù)手動設(shè)置接口、處理認(rèn)證和邏輯，而且不同平臺之間還互不兼容，確實(shí)挺麻煩的。就在這種情況下，Anthropic在2024年底推出了一個(gè)叫做模型上下文協(xié)議（ModelContextProtocol，簡稱MCP）的新東西。這個(gè)協(xié)議的...

多模態(tài)獎勵模型（MRMs）在提升多模態(tài)大語言模型（MLLMs）的表現(xiàn)中起著至關(guān)重要的作用，在訓(xùn)練階段可以提供穩(wěn)定的reward，評估階段可以選擇更好的sample結(jié)果，甚至單獨(dú)作為evaluator。盡管近期強(qiáng)化學(xué)習(xí)（RL）在傳統(tǒng)視覺任務(wù)和多模態(tài)推理任務(wù)中取得了顯著進(jìn)展，但其在獎勵建模中的應(yīng)用仍然受到挑戰(zhàn)，尤其是如何通過強(qiáng)化學(xué)習(xí)對獎勵模型引入長期推理能力。快手、中科院、清華、南大的研究團(tuán)隊(duì)發(fā)現(xiàn)，直接把現(xiàn)有的RL算法（比如Reinfor...

10張動圖深度剖析MCP架構(gòu)原理最近，模型上下文協(xié)議（MCP）特別火，你可能已經(jīng)聽說過了。今天，我們來搞懂它到底是個(gè)啥。簡單來說，MCP就像是給你的AI應(yīng)用準(zhǔn)備的一個(gè)USBC接口。就像USBC提供了一個(gè)標(biāo)準(zhǔn)化的方式來連接各種配件一樣，MCP標(biāo)準(zhǔn)化了你的AI應(yīng)用如何連接到不同的數(shù)據(jù)源和工具。讓我們稍微深入一點(diǎn)，從技術(shù)角度來剖析。MCP的核心是客戶端服務(wù)器架構(gòu)，一個(gè)主機(jī)應(yīng)用可以連接到多個(gè)服務(wù)器。它有三個(gè)關(guān)鍵部分：主機(jī)（Host）、...

阿里巴巴推出了全新的Qwen3系列模型。令人驚嘆的是，在短短的12個(gè)小時(shí)內(nèi)，這個(gè)系列在GitHub上的星標(biāo)數(shù)就超過了17,000個(gè)，而在HuggingFace上的下載量更是達(dá)到了每小時(shí)23,000次的高峰。更讓人興奮的是，Qwen3系列這次一共推出了八種不同的模型，包括兩款MoE模型：Qwen3235BA22B（2350多億總參數(shù)、220多億激活參），以及Qwen330BA3B（300億總參數(shù)、30億激活參數(shù)）；以及六個(gè)Dense模型：Qwen332B、Qwen314B、Qwen38B、Qwen34B、Qwen...

“大模型雖然看起來很復(fù)雜，但我們只要具備工具思想，那么就可以輕松地玩轉(zhuǎn)大模型。”在對大模型的了解和應(yīng)用過程中發(fā)現(xiàn)一個(gè)問題，就是很多人對大模型抱著神秘和高大上的想法；認(rèn)為搞大模型的都是技術(shù)大拿或者高學(xué)歷的精英人才，甚至有些人會認(rèn)為大模型無所不能。但事實(shí)上，大模型沒有大家想象中的那么神秘和復(fù)雜；大模型也有自己的能力邊界，它也無法做到超出它能力范圍的事；而且現(xiàn)在大模型也存在各種各樣的問題，否則大模型...

LLMtraining轉(zhuǎn)inference需要加強(qiáng)的知識總結(jié)。這篇附帶一些職業(yè)規(guī)劃的討論，其實(shí)Training和Inference在不同公司不同崗位業(yè)務(wù)中的定位不同，但總得來說還是存在下面的區(qū)別：LLMTraining：包括但不限于優(yōu)化模型架構(gòu)（MoE），調(diào)節(jié)超參數(shù)優(yōu)化loss，訓(xùn)練微調(diào)（SFT，pretrain，RL，蒸餾）等等，這個(gè)是把模型訓(xùn)得更聰明的過程。LLMInference：包括PD分離（KVcache優(yōu)化,Pageattention，Radixattention），并行（各種parallelism，shardin...

智駕中的VLA方案總結(jié)。相對于VLM，最近智駕中開始流行VLA，VLM關(guān)注的重點(diǎn)在于環(huán)境建模，VLA除了考慮環(huán)境建模，還需要關(guān)注規(guī)劃和控制問題。總得來說，這些VLA方案中都包含兩個(gè)核心組件：PretrainedVLM，側(cè)重思考和慢推理ActionModel，側(cè)重動作預(yù)測那么本篇整合具身智能中主要的四種VLA方案，并聯(lián)合智駕領(lǐng)域進(jìn)行總結(jié)。下面是一個(gè)快捷目錄。1.PretrainedVLMLLM+actionprediction2.Visionstateencoderdecodertransformer(fromscratc...

私有化部署的DeepSeek大模型一體機(jī)如何實(shí)現(xiàn)業(yè)務(wù)價(jià)值？當(dāng)極限吞吐量從3000到8000Tokens拉開性能差距，合同審核準(zhǔn)確率提升80%、人崗匹配精準(zhǔn)度提高30%時(shí)，百萬tokens處理成本已從16元降至5元。選型需看性能指標(biāo)、場景實(shí)測、擴(kuò)展?jié)摿Γ闱灏肽陜?nèi)能否通過效率提升收回百萬投入——這才是衡量技術(shù)投資成敗的終極標(biāo)尺。近期，眾多用戶紛紛選擇私有化部署“DeepSeek大模型一體機(jī)”，并已成功上線運(yùn)行。然而，我們也清楚，這類配備...

為了探索和改進(jìn)AI工具在編程方面的體驗(yàn)，同時(shí)也想驗(yàn)證一些AI的邊界，于是又想到了嘗試從0實(shí)現(xiàn)高性能JSON解析器，說干就干。開始以為比較簡單，不會超過半天就能實(shí)現(xiàn)，但是經(jīng)過各種提示詞優(yōu)化，最終花了兩天時(shí)間...1.選用工具現(xiàn)在有各種AICopilot，比較常用的Cursor，Windsurf，Trae等，不過我現(xiàn)在用的比較順手的是：Windsurf。除了編程工具，然后就是模型，目前代碼領(lǐng)域比較強(qiáng)的：Claude3.7Sonnet和Claude3.7SonnetThinkingGPT4...

當(dāng)前關(guān)于AIAgent的技術(shù)棧有很多，但真正能夠用于企業(yè)的并不多。每一種技術(shù)框架和工具說起來都是非常優(yōu)秀，但真要應(yīng)用到企業(yè)中時(shí)卻總是捉肘見襟。想要把最新技術(shù)應(yīng)用到現(xiàn)實(shí)業(yè)務(wù)場景與技術(shù)環(huán)境，中間還需要跨越很大的門檻。每個(gè)企業(yè)的數(shù)字化程度不同，技術(shù)環(huán)境不同，對于技術(shù)的引入與融合也會有很大的不同。對于更多持續(xù)引入應(yīng)用各種先進(jìn)技術(shù)的企業(yè)來說，引入新技術(shù)并不難，難的是如何把新技術(shù)與原有業(yè)務(wù)進(jìn)行妥帖的融合。對于當(dāng)前...