AI.x社區
- 登錄/注冊
Reward Hacking | 強化學習提升大模型推理能力，獎勵機制是關鍵 | 機制不合理，會導致多變的欺詐行為
大語言模型（LLM）的飛速發展正深刻改變著我們與信息和技術交互的方式（想想大家有多久不用傳統搜索引擎了）。它們展現出的能力令人矚目，但要驅動它們超越模仿，在復雜推理、規劃和解決未知問題等層面達到更高的“智能”水平，傳統的預訓練（Pretrain）和監督微調（SFT）范式顯得力有不逮。強化學習（RL），特別是結合人類或規則反饋的RLHFRL，已成為關鍵的引擎，推動LLM智能向更高層級躍遷。RL的核心在于賦予模型一種“目標導...強化學習大模型推理能力清華AI醫院正式揭牌：算力如何成為醫療變革的“新心臟”？
4月26日，清華大學人工智能醫院正式揭牌，標志著全球首個“AI+醫療+教育+科研”生態閉環的實體化醫療新物種誕生。這家醫院顛覆傳統“醫院+AI”模式，從底層設計融入AI智能體功能，依托紫荊AI醫生內測系統，通過虛擬醫院加速AI醫生進化。在清華AI醫院的實踐中，算力是驅動醫療模式變革的核心引擎：清華人工智能醫院從底層設計融入了AI智能體，覆蓋診前、診斷、治療、康復全流程。其核心系統“紫荊AI醫生”基于“閉環式”醫療虛擬...清華人工智能醫院算力AI技術算家云租算力，到算家圖像生成新篇章：OpenAI GPT-image-1 模型深度解析與應用前瞻
精華
社區頭條嘿，各位AI圈的弄潮兒們！最近有沒有被OpenAI的新動作刷屏？沒錯，繼那個像章魚哥一樣全能的GPT4o之后，OpenAI又悄無聲息地丟下了一顆重磅炸彈——全新的圖像生成模型GPTimage1！這可不是簡簡單單的DALL·E升級版，它可是原生多模態、API優先，直指專業級圖像生成市場的新選手。作為一名AI領域的文章創作者，我可是第一時間就扒來了各種公開信息，今天就來給大家全方位解析一下這位新伙伴到底有啥本事！1.它來了，帶著GPT4o的多...OpenAIGPT-image-1模型用 Python 開發 MCP 服務很簡單，完整案例拿走不謝！
模型上下文協議MCP是一種開放協議，旨在標準化AI應用程序與外部數據源和工具的連接方式。其核心目標在于簡化大型語言模型LLM與各種上下文和工具的集成，從而解決將多種LLM與多種工具相集成的復雜性問題。之前的文章介紹了一個挺不錯的MCP應用案例，??用MCP讓大模型自動批量下載文獻，太香了！??但你有沒有想過，自己動手打造一個MCP服務呢？想象一下，親手設計一個智能工具，無論是處理數據、調用外部API，還是生成自定義報...Python開發MCP多模態MLLM都是怎么實現的—如何保持text2video的連續一致性
如果你玩過開源的Text2video，也就是文生視頻，也會感慨AI越來越能整活兒了，但是如果你好奇去各大平臺看一圈，基本上視頻最大就是在810秒左右，甚至有35秒的。（sora能到20秒）當然有兄弟說是算力的問題，這個確實是一個問題，生成視頻diffusion的算力確實要比純text多，但是這個如果有錢也不是問題（后文我們發現其實就算有錢也是問題），但是現在我們談論的是錢解決不了的問題，一致性。這個一致性指的是多幀一致性比如這個...多模態MLLM文生視頻多模態LLM統一嵌入學習；基于心理意象模擬的感知視角推理；動態視覺token壓縮框架
BreakingtheModalityBarrier:UniversalEmbeddingLearningwithMultimodalLLMs20250424｜USYD,DeepGlint,AlibabaGroup,ICL(Imperial)??28??http:arxiv.orgabs2504.17432v1??????https:huggingface.copapers2504.17432??????https:garygutc.github.ioUniME??研究背景與意義背景概述：當前多模態表示學習領域，CLIP框架因其跨模態對比學習能力被廣泛采用，尤其在圖文檢索和聚類任務中表現突出。然而，CLIP存在文本...多模態LLMtoken統一圖像編輯框架，達到閉源一流水平；高分辨率自回歸圖像生成；高低層次特征聯合的圖像生成；視頻試穿框架
Step1XEdit:APracticalFrameworkforGeneralImageEditing20250424｜StepFun,??55???http:arxiv.orgabs2504.17761v1????????https:huggingface.copapers2504.17761????????https:github.comstepfunaiStep1XEdit???研究背景與意義領域現狀與挑戰近年來，圖像編輯技術迅速發展，尤其是在多模態大模型（如GPT4o、Gemini2Flash）推動下，實現了基于自然語言的高質量圖像編輯。這些閉源模型在理解復雜編輯指令和...統一圖像框架3DV-TONMCP 服務器很危險！這里有安全使用指南！
原創 社區頭條編輯云昭出品51CTO技術棧（微信號：blog51cto）MCP這次真的火了！自從Anthropic于2024年11月推出以來，它有望成為“將AI助手連接到數據所在系統的新標準”。截至目前，該協議已被OpenAI、微軟和谷歌等公司迅速采用；各大供應商紛紛推出MCP服務器，希望在AI代理工作流程中不失時機。同樣，阿里、騰訊、百度等國內大廠也毫無例外地統一宣布支持MCP協議。簡單說，MCP在網絡上風靡一時的原因很簡單——人們已經發現了它各種各樣的使...MCP服務器工具突發！Anthropic對逆向工程者提下架通知，引開發者強烈不滿
原創 社區頭條編輯｜云昭出品51CTO技術棧（微信號：blog51cto）大洋彼岸，兩款“代理”編碼工具在開發者中的口碑突然發生了逆轉！眾所周知，近期OpenAI的CodexCLI和Anthropic的ClaudeCode正在激烈競爭，風頭皆盛。不過由于后者長期主打開發賽道，所以Claude在開發者的口碑一直很好。但近期，Claude在編程工具方面被曝出了一件黑料，導致開發者紛紛聲討Anthropic，進而轉向了OpenAI。據報道，這至少部分是因為Anthropic向一位試圖對ClaudeCode...AnthropicOpenAI工具動態噪聲重塑：基于時間嵌入U-Net的PyTorch擴散模型實戰?
原創 社區頭條本文基于PyTorch框架幫助讀者從零開始理解和實現擴散模型，并給出一個基于時間嵌入UNet模型的基礎型擴散模型實戰開發案例。簡介在我最近發表的幾篇文章中，我談到了生成式深度學習算法，這些算法大多與文本生成任務有關。所以，我認為現在轉向圖像生成的生成算法研究會很有趣。我們知道，如今已經有很多專門用于生成圖像的深度學習模型，例如自動編碼器、變分自動編碼器（VAE）、生成對抗網絡（GAN）和神經風格遷移（NST）。在...PyTorch深度學習擴散模型動態超級塊剪枝：加速稀疏檢索的革命性技術
精華突破性能瓶頸：動態超級塊剪枝如何重塑信息檢索效率在當今數據爆炸的時代，高效的信息檢索系統對于各類應用至關重要，從搜索引擎到基于檢索增強的大語言模型（RAG）。隨著學習型稀疏表示模型的興起，如何在保持高檢索質量的同時提升檢索速度成為研究熱點。本文深入探討一項革命性技術——動態超級塊剪枝（SuperblockPruning，簡稱SP），這一創新方法在保持高相關性的前提下，顯著提升了稀疏檢索的效率。稀疏檢索的挑戰與機遇稀...稀疏檢索SPCPU智能體深度解析：LangChain批駁OpenAI Agent手冊存在誤導性
LangChain創始人HarrisonChase似乎是個“好斗分子”，經常對某些觀點或現象發表看法甚至寫長文辯論批駁。比如在2024年，他曾指出AutoGPT等框架的問題在于“試圖完全自主運行”，缺乏人類干預機制。主張通過LangGraph等工具實現“Humanintheloop”控制，提倡Agent應支持從結構化工作流到靈活模型的漸進式過渡。比如對當前爆火的MCP，Chase由開始質疑到后來肯定其價值。認可MCP在降低開發門檻和標準化工具集成方面的潛力，雖然當...LangChainOpenAIAgent清華大學 | 強化學習是否激勵LLM中超越基本模型的推理能力？
論文DoesReinforcementLearningReallyIncentivizeReasoningCapacityinLLMsBeyondtheBaseModel2504.13837TL;DR:雖然強化學習（RL）訓練的模型在較小的k值（例如，k1）下優于其基本模型，但基本模型可以在較大的k值下獲得與RL對應物相比的可比甚至更高的passk分數。進一步分析表明，RL訓練模型生成的推理路徑已經包含在基礎模型的抽樣分布中，表明RL訓練模型中表現出的大部分推理能力已經由基礎模型獲得。RL訓練通過將模型的輸出...LLM基本模型RL訓練AI 對齊失敗 = 文明終結？《AI 2027》報告的殘酷警示與“硬傷”分析
精華 社區頭條由前OpenAI研究員DanielKokotajlo領銜撰寫的報告《AI2027》，并非遙遠的科幻想象，而是立足于當前人工智能發展趨勢、結合專家訪談與嚴謹邏輯推演，對未來幾年（直至2027年）可能發生的劇變進行的一次“沙盤推演”（即模擬預演）。這份報告的核心論斷極具沖擊力，通用人工智能（AGI）乃至超越人類智慧的超級智能（ASI）可能比許多人預期的更早到來，其對人類文明的重塑力量將遠超工業革命，而我們的社會對此卻普遍缺乏認知和準備...AI對齊x-risk關于工作流在人工智能領域內的應用分析
原創“工作流與RAG是大模型應用領域階段性的產物。”工作流是對工作流程及其各操作步驟之間業務規則的抽象和概括描述。它可以幫助組織和自動化重復性任務，提高工作效率。智能體作為人工智能應用的一個主要技術形式，其重要性不言而喻；但同樣智能體也并不是萬能的，因此怎么更好的使用智能體，并串聯相關技術環節就成為一個需要解決的問題。而這就是工作流需要解決的問題，通過制定標準的執行流程，在不同節點使用不同的工具(智能...工作流RAG大模型提示詞工程對大模型應用的重要性
原創“提示詞是大模型與外界交互的唯一通道，因此提示詞的重要性遠比我們想象中的要重要。”提示詞或者說提示詞工程，說起來可能大家多多少少都知道是怎么回事；但可能很多人并沒有意識到提示詞工程對大模型的重要性。提示詞是人與大模型溝通的橋梁，就像我們要想使用電腦就離不開鼠標鍵盤一樣；不管你是做AIGC也好，做RAG、Agent也罷，或者其它任何與大模型相關的技術或應用，都離不開提示詞的存在。總之一句話，任何關于大模型的...提示詞大模型人工智能一文讀遍 LoRA 家族：大語言模型高效訓練的"秘密武器"
社區頭條在大語言模型（LLMs）的訓練領域，LowRankAdaptation（LoRA）技術堪稱一項重大突破。它就像給模型訓練開啟了一條“高速通道”，讓我們能更高效地為特定任務訓練大語言模型。如今，LoRA在眾多應用場景中廣泛使用，并且引發了一系列改進研究，催生出了許多變體，這些變體從不同角度優化LoRA，提升訓練速度、性能，或者兩者兼得。今天，咱們就來深入了解一下LoRA及其家族成員的奧秘。1.LoRA：基礎概念與核心優勢LoRA的核心做法是在...LoRA大語言模型CMTF：用于金融市場預測的跨模態時間融合框架
準確的金融市場預測需要多樣化的數據源，包括歷史價格趨勢、宏觀經濟指標和金融新聞。現有方法通常獨立處理這些數據，未能有效建模其交互。本文提出了跨模態時間融合（CMTF）框架，集成異構金融數據以提高預測準確性。實驗表明，CMTF在預測上優于多種基線模型，提升了精度、召回率和F1分數。摘要準確的金融市場預測需要多樣化的數據源，包括歷史價格趨勢、宏觀經濟指標和金融新聞。現有方法通常獨立處理這些數據，未能有效建模...CMTF市場預測框架AI音頻核爆！Kimi開源「六邊形戰神」Kimi-Audio，音頻界ChatGPT來了？
社區頭條剛剛，kimi發布全新通用音頻基礎模型KimiAudio，這款由月之暗面（MoonshotAI）推出的開源模型，在24小時內收獲3.2萬星標，不僅以1.28%詞錯率刷新語音識別紀錄，更在情感分析、聲音事件分類等十項任務中碾壓其他競品，堪稱“六邊形戰士”——沒有短板，只有王炸。傳統音頻模型往往專精單一任務：語音識別、情感分析、降噪……開發者需像拼樂高般組合多個工具。而KimiAudio的顛覆性在于，它用三層架構統一了音頻處理各項任務：音...Kimi-Audio發布月之暗面算家云租算力，到算家每日AI資訊DianJin-R1：金融領域推理增強大模型，全面超越DeepSeek-R1
大型語言模型（LLMs）在推理能力上的進展引發了對其在復雜任務中表現的關注，尤其是在金融領域。DianJinR1是一個針對金融領域的推理增強框架，通過推理增強監督和強化學習，提升金融推理任務的表現。DianJinR1模型在金融測試集（CFLUE、FinQA、CCC）上顯著優于基礎模型，尤其在CFLUE和CCC上表現突出，DianJinR132B在CFLUE上準確率從77.95提升至86.74，CCC上從56.50提升至96.00，超越DeepSeekR1。摘要DianJinR1是一個針對金融領...DianJin-R1大模型DeepSeek-R1
