AI.x社區
- 登錄/注冊
復旦：基于強化微調的統一多模態思維鏈獎勵模型
本文介紹了一種新的統一多模態鏈式思維獎勵模型，該模型通過強化微調方法實現了對復雜推理過程的學習和激勵。傳統的獎勵模型通常只能提供直接響應或淺層推理，而新提出的模型能夠進行多層次、逐步的長鏈推理，從而提高了獎勵信號的準確性和可靠性。該模型采用了探索驅動的強化微調方法，首先利用小規模圖像生成偏好數據來學習GPT4o的推理過程，并將其用于模型的冷啟動；然后利用模型的先驗知識和泛化能力，準備大規模的統一多模...多模態思維鏈獎勵模型OpenAI for Countries——技術擴張的華麗外衣下意識形態偏見的幽靈
引言OpenAI光環之下的隱憂OpenAI，這家憑借ChatGPT、GPT系列模型API等顛覆性技術迅速占領全球科技高地的企業，無疑是人工智能（AI）研究與部署領域的執牛耳者。其“確保人工智能惠及全人類”的宏大宣言，以及其技術在各行各業所描繪的革命性藍圖，不僅吸引了天文數字般的投資，也催生了難以估量的高昂運營成本。OpenAI的技術浪潮以前所未有的速度推動了AI應用的普及化，然而，在這股浪潮之下，關于其社會影響的深度拷問、倫理責...OpenAICountries形態使用LSTM進行股票市場預測，MAPE僅2.72%
一、規則引擎為何成為復雜業務的剛需？在電商訂單處理、金融風控、物流調度等場景中，業務規則常呈現動態性、復雜性、高頻變更的特征。傳統硬編碼開發模式面臨兩大痛點：代碼臃腫：分支邏輯嵌套導致代碼可讀性差，維護成本指數級增長；變更低效：修改規則需重新發布系統，無法實現熱更新，影響業務連續性。LiteFlow作為輕量級規則引擎，通過組件化拆分+可視化編排，支持動態調整流程順序、并行異步執行、熱部署等特性，成為解決...LSTM預測代碼MedChain：通過交互式順序基準測試橋接大模型Agent與臨床實踐之間的差距
摘要臨床決策制定（CDM）是一個復雜、動態的過程，對醫療保健交付至關重要，然而對于人工智能系統而言仍是一個重大挑戰。盡管基于大型語言模型（LLM）的代理已經在使用許可考試和知識問答任務的一般醫學知識上進行了測試，但由于缺乏反映實際醫療實踐的綜合測試數據集，它們在現實世界場景中的CDM表現有限。為了彌補這一差距，我們提出了MedChain，一個包含12,163個臨床案例的數據集，涵蓋臨床工作流程的五個關鍵階段。MedChain...大模型Agent交互式LLM - Reasoner：讓 LLM 像 DeepSeek R1 一樣思考更深入
社區頭條今天給大家分享一個超厲害的庫——LLMReasoner，它就像給大模型開了“智慧外掛”，能讓任何大語言模型（LLM）都像OpenAIo1和DeepSeekR1一樣深入思考！不管你是AI技術控，還是想提升大模型使用體驗的小伙伴，都別錯過～1.LLMReasoner是啥“寶藏”？LLMReasoner本質是個庫，致力于打破大模型給出“黑箱答案”的局面。以往，大模型輸出結果時，咱根本不知道它是怎么思考的，就像拆盲盒，充滿未知。但有了LLMReasoner，這一切都變啦...LLMDeepSeek R1大模型好消息！中美暫停互征關稅，AI產業是否將迎來喘息期？
社區頭條最新消息：今天下午，中美在瑞士日內瓦舉行貿易談判后發表聯合聲明，根據聲明，雙方承諾將于2025年5月14日前采取以下舉措：一、美國將修改2025年4月2日第14257號行政令中規定的對中國商品（包括香港特別行政區和澳門特別行政區商品）加征的從價關稅，其中，24%的關稅在初始的90天內暫停實施，同時保留按該行政令的規定對這些商品加征剩余10%的關稅。二、美國也將取消根據2025年4月8日第14259號行政令和2025年4月9日第14266號行...中美暫停互征關稅美國對華芯片禁令全球AI競爭算家云租算力，到算家云痛斥！現在的MCP，就像尿褲子！創業CTO試用后怒氣值飆升，開懟整個大模型圈怪象：開發文檔用大模型寫的！
原創 社區頭條作者云昭出品51CTO技術棧（微信號：blog51cto）現在的MCP乃至大模型開發圈，就像尿了褲子！一開始熱乎乎的，然后就開始難受了！近日，一篇有關MCP深度批判的博客文章《ACriticalLookatMCP》在網絡上走紅。圖像MCP的熱度暴漲十足，它甚至有望成為一種席卷全球的生態級別的協議，是一件有目共睹的事情。這篇文章的作者RasmusHolm，是一家創業公司CTO，三個星期前，他想在自己的實際環境中親自上手實操一番MCP，結果大失所望。Rasm...MCPCTO大模型駁“RAG 已死”論：上下文窗口擴展≠RAG 終結
原創編者按：我們今天為大家帶來的這篇文章，作者的觀點是：即便在大語言模型上下文窗口不斷擴大的今天，檢索增強生成（RAG）技術依然具有不可替代的價值。文章首先通過Fiction.liveBench基準測試結果展示了即使最先進的大模型在處理長上下文時也會遇到理解能力下降的問題，并指出：理論上下文長度≠有效上下文長度。隨后，作者從四個角度論證了RAG技術依然具有不可或缺的優勢：1）企業私有數據體量遠超任何模型的上下文窗口容量；2...RAGLLMLMEye：面向大語言模型的交互式感知網絡
原創摘要目前構建多模態大語言模型（MLLMs）的高效方法，主要是通過簡單的視覺映射網絡，如線性投影層、多層感知器（MLP）或BLIP2中的QFormer，將視覺信息融入大語言模型（LLMs）。這類網絡僅對圖像特征進行一次投影，并未考慮圖像與人類輸入之間的交互。因此，獲取的視覺信息可能與人類意圖脫節，無法滿足大語言模型生成符合意圖的回復，這種信息可稱為靜態視覺信息。為緩解該問題，本文引入LMEye，這是一種類似人眼的可插拔交互式...多模態大語言模型視覺語言學習交互式感知網絡HoVLE：通過整體視覺-語言嵌入釋放單體視覺-語言模型的潛力
原創摘要大型語言模型（LLMs）的快速發展催化了視覺語言模型（VLMs）的發展。整體VLMs避免了模態特定的編碼器，提供了一種有希望的替代方案，但面臨著性能較差的挑戰。大多數現有的整體VLMs需要調整預訓練的LLMs以獲得視覺能力，這可能會降低它們處理語言的能力。為了解決這一困境，本文提出了一種新的高性能整體VLM，名為HoVLE。我們注意到，當圖像嵌入與文本嵌入對齊時，LLMs已被證明能夠解釋圖像。當前整體VLMs的挑戰實際上在于...大型語言模型視覺-語言模型HoVLEIn-Context Edit：在大規模擴散變換器中通過上下文生成實現指令式圖像編輯
原創摘要基于指令的圖像編輯能夠通過自然語言提示實現強大的圖像修改，但當前的方法面臨著精度和效率之間的權衡。微調方法需要大量的計算資源和大規模數據集，而免訓練技術在指令理解和編輯質量方面存在困難。我們利用大規模擴散變換器（DiT）增強的生成能力和固有的上下文感知來解決這一困境。我們的解決方案有三個貢獻：（1）一種基于上下文提示的零樣本指令遵從的上下文編輯框架，避免了結構變化；（2）一種LoRAMoE混合調優策略...上下文編輯In-Context Edit生成式DiT開源的閱讀順序（Layoutreader）模型使用指南
原創閱讀順序在文檔智能解析中的位置閱讀順序檢測旨在捕獲人類讀者能夠自然理解的單詞序列。現有的OCR引擎通常按照從上到下、從左到右的方式排列識別到的文本行，但這并不適用于某些文檔類型，如多欄模板、表格等。LayoutReader模型使用seq2seq模型捕獲文本和布局信息，用于閱讀順序預測，在實驗中表現出色，并顯著提高了開源和商業OCR引擎在文本行排序方面的表現。Github:https:github.comyujunhuicsLayoutReader權重地址:https:ww...文檔智能開源閱讀順序模型Layoutreader多模態文檔檢索開源方案-三大競賽獲獎方案技術鏈路
原創前期也提到，在實際場景中，用戶通常需要檢索多模態文檔，包括文本、圖像、表格和圖表。這需要一個更復雜的檢索系統，能夠處理多模態信息，并根據用戶查詢提供相關文檔或段落。檢索多模態文檔將有助于AI聊天機器人、搜索引擎和其他應用程序向用戶提供更準確、更相關的信息。因此衍生了一系列的多模態RAG方案，如：??開源多模態RAG的視覺文檔(OCRFree)檢索增強生成方案VDocRAG???提到的諸多方案。下面來看看www會議開設的多...多模態文檔檢索開源基于milvus向量數據庫的相似度檢索問題——稀疏-密集向量檢索和混合搜索
原創 社區頭條“不同的向量類型可能會得到不同的檢索結果，因此需要根據不同的場景選擇合適的檢索策略”相似度檢索是目前人工智能領域一個非常重要的應用場景，其不僅僅應用于人工智能技術，同樣應用于搜索技術；比如搜索引擎，電商搜索等多種技術領域。因此，向量數據庫也成為現在技術領域不可缺少的一個中間件；雖然說向量檢索主要就是進行向量計算，不管是余弦，還是歐式距離等算法，目的都是通過計算向量之間的位置關系來確定相似度。但...milvus向量數據庫向量檢索關于人工智能應用場景中前期數據處理的業務場景和技術分析——包括結構化數據和非結構化數據
原創“文檔處理是人工智能應用領域中的重要環節，其業務需求復雜，技術實現難度高；因此，怎么處理復雜文檔是每個技術人員都需要考慮的問題。”文檔處理在當前人工智能行業下是一個非常基礎也非常重要的工作，不論是模型的訓練和微調，還是以RAG檢索增強，亦或者是在傳統的搜索引擎(包括百度，谷歌這種搜索引擎；以及電商等內部平臺的搜索需求)中都是必不可少的一個重要環節。但面對復雜的文檔格式和類型，文檔處理的難度相當大；而...人工智能結構化數據非結構化數據關于大模型應用過程中的記憶功能管理問題，以及解決方案
原創“大模型應用的很多功能包括記憶管理，需要的不僅僅只是技術問題，還需要足夠的工程化能力才能解決。”眾所周知，大模型是沒有記憶功能的，因此記憶管理就成為大模型應用過程中必不可少的一個環節；雖然說記憶管理說起來很簡單，但在實際操作中還是存在很多問題。比如說，隨著記憶的增加token成本的上升，大模型窗口的限制，記憶的存儲問題等等。因此，今天就從項目的實際操作中來詳細了解一下大模型的記憶功能；開發框架是基于...大模型大模型應用多模態與生成正邁向終極大一統！阿里最新3萬字長文梳理統一的多模態理解和生成模型
精華 社區頭條文章鏈接：https:arxiv.orgpdf2505.02567開源鏈接：https:github.comAIDCAIAwesomeUnifiedMultimodalModels亮點直擊闡述多模態理解與文生圖模型的基礎概念與最新進展;繼而梳理現有統一模型，將其歸納為三大架構范式：基于擴散的架構、基于自回歸的架構，以及融合自回歸與擴散機制的混合架構;整理了適配統一模型的數據集與評測基準，為后續研究提供資源支持;探討了這一新興領域面臨的核心挑戰，包括分詞策略、跨模態注意力機制與...圖像生成模型AIGraphite框架揭秘：如何用它打造可擴展的AI工作流
原創在當今數字化時代，人工智能（AI）已經滲透到我們生活的方方面面，從日常的語音助手到復雜的企業級應用，AI正在改變我們的工作和生活方式。然而，隨著AI應用的不斷擴展，企業和開發者們面臨著一個共同的挑戰：如何構建符合特定業務需求的AI解決方案？今天，我們要介紹的Graphite框架，正是為解決這一問題而生。一、為什么我們需要Graphite？在AI的世界里，已經有許多強大的工具和平臺，比如ChatGPT、Claude等。但這些通用的AI解...Graphite框架AI工作流AI應用LeetCode智能教練來襲！多智能體LLM協同架構實戰指南
原創 精華在人工智能飛速發展的今天，生成式AI（GenerativeAI）已經成為了技術領域的一顆明珠。從簡單的文本生成到復雜的多模態應用，生成式AI正在不斷刷新我們對機器智能的認知。然而，隨著技術的不斷進步，我們發現僅僅依靠單一的大型語言模型（LLM）已經無法滿足日益復雜的應用需求。于是，多智能體LLM協同架構應運而生，它通過多個智能體的協作，極大地提升了生成式AI應用的性能和靈活性。今天，就讓我們一起深入探索多智能體LLM協同...LeetCode多智能體LLMAI工作流自動化：如何用智能技術奪回企業浪費的30%時間
原創在當今這個快節奏的商業世界里，時間就是金錢，效率就是生命。但你知道嗎？許多企業居然還在將高達30%的時間浪費在繁瑣的手動流程上！這就好比在高速公路上開著一輛手動擋的老爺車，明明前方有自動駕駛的超跑飛馳而過，自己卻還在費力地踩離合、換擋。而AI工作流自動化，就是那輛能為企業奪回寶貴時間、開啟智能高速路的超跑。別再猶豫了，AI工作流自動化不是什么遙不可及的未來科技，而是正在當下發生、能徹底改變游戲規則的解...AI工作流自動化AI流程自動化Markovate
