核心速覽多模態(tài)大型語言模型（MLLMs）在理解常見視覺元素（如風景、家居用品和公共事件）方面展現了令人印象深刻的能力，這主要歸功于其大規(guī)模數據集和先進的訓練策略。然而，由于醫(yī)學場景中的數據和任務與一般領域存在固有差異，它們在醫(yī)學應用中的有效性仍然有限。具體來說，現有的醫(yī)學MLLMs面臨以下關鍵限制：（1）對醫(yī)學知識（超出影像學范圍）的覆蓋有限；（2）由于數據策展流程不佳，容易產生幻覺；（3）缺乏針對復雜醫(yī)學...

摘要本綜述批判性地區(qū)分了人工智能代理和代理性人工智能，提供了一個結構化的概念分類、應用映射，并分析了機會與挑戰(zhàn)，以闡明它們不同的設計理念和能力。我們首先概述了搜索策略和基本定義，將人工智能代理描述為由大型語言模型和大型知識圖譜驅動和啟用的模塊化系統(tǒng)，用于特定任務的自動化。生成式人工智能被定位為提供基礎的前驅，人工智能代理則通過工具集成、提示工程和推理增強而發(fā)展。然后我們描述了代理性人工智能系統(tǒng)...

?引言近年來，大型語言模型（LLMs）以驚人的速度滲透到醫(yī)療領域，盡管它們并非原生用于臨床決策，但醫(yī)療從業(yè)者正日益依賴這些新興AI工具來輔助診療。如果AI產品以“臨床決策支持”為賣點，依據美國食品藥品監(jiān)督管理局（FDA）的規(guī)定，其很可能應被視作醫(yī)療器械接受監(jiān)管。然而，現有法規(guī)體系遠遠未能覆蓋這一激增的應用場景，監(jiān)管滯后于技術創(chuàng)新，潛在風險與巨大前景并存。PennLDI高級成員兼賓大醫(yī)學院助理教授GaryWeissman等人...

MALADE:OrchestrationofLLMpoweredAgentswithRAGforPharmacovigilance摘要在大型語言模型（LLMs）的時代，鑒于它們卓越的文本理解和生成能力，開發(fā)基于LLMs的新方法用于可信醫(yī)學知識的綜合、提取和總結是前所未有的機遇。本文關注藥物警戒（PhV）問題，其重要性和挑戰(zhàn)在于從多樣化的文本資源（如醫(yī)學文獻、臨床筆記和藥品標簽）中識別不良藥物事件（ADEs）。不幸的是，這一任務受到多種因素的阻礙，包括藥物和結果的術語差異，...

摘要臨床決策制定（CDM）是一個復雜、動態(tài)的過程，對醫(yī)療保健交付至關重要，然而對于人工智能系統(tǒng)而言仍是一個重大挑戰(zhàn)。盡管基于大型語言模型（LLM）的代理已經在使用許可考試和知識問答任務的一般醫(yī)學知識上進行了測試，但由于缺乏反映實際醫(yī)療實踐的綜合測試數據集，它們在現實世界場景中的CDM表現有限。為了彌補這一差距，我們提出了MedChain，一個包含12,163個臨床案例的數據集，涵蓋臨床工作流程的五個關鍵階段。MedChain...

摘要由人工智能驅動的學習正在改變教育，要求教育者迅速掌握有效整合人工智能工具的技能，以便它們補充而非取代傳統(tǒng)教學實踐。生成式人工智能的快速發(fā)展帶來了挑戰(zhàn)，尤其是對于那些不太懂技術的教師或那些延遲學習這些工具的人，使他們面臨落后的風險。隨著學生快速適應廣泛可用的模型如ChatGPT3.5和DeepseekR1，他們越來越多地用于學習、作業(yè)和評估。盡管已有關于教育中人工智能的討論，但缺乏實際指導，說明醫(yī)學教育工作者如...

摘要人工智能通過大型語言模型（LLMs）顯著改變了醫(yī)療保健領域，尤其在靜態(tài)醫(yī)學問答基準測試中表現出色。然而，由于醫(yī)患互動的復雜性，評估LLMs在現實世界臨床應用的潛力仍然具有挑戰(zhàn)性。為此，我們引入了“人工智能醫(yī)院”這一多智能體框架，模擬醫(yī)生（玩家）與包括患者和檢查員在內的非玩家角色（NPCs）之間的動態(tài)醫(yī)療互動。這種設置允許在模擬的臨床場景中更實際地評估LLMs的表現。我們開發(fā)了“多視圖醫(yī)療評估”（MVME）基準...

摘要雖然大型語言模型（LLMs）在診斷對話中顯示出潛力，但它們在有效管理推理方面的能力——包括疾病進展、治療反應和安全藥物處方——仍有待進一步探索。我們通過一種新的基于LLMs的代理系統(tǒng)推進了之前展示的ArticulateMedicalIntelligenceExplorer（AMIE）的診斷能力，該系統(tǒng)針對臨床管理和對話進行了優(yōu)化，整合了對疾病演變、多次患者就診經歷、治療反應以及藥物處方專業(yè)能力的推理。AMIE在權威臨床知識的基礎上進行推理，利...

前言2025年1月9日–加利福尼亞州門洛帕克–世界上最大的開放網絡知識圖譜創(chuàng)建者Diffbot宣布推出其第一個大型語言模型（LLM），這是迄今為止世界上最基于事實的AI語言模型。利用Diffbot專有的知識圖譜（包括超過100億個實體和來自開放網絡的超過1萬億個結構化事實），新模型在事實可靠性和領域覆蓋率方面超過了目前所有可用的LLM。當前前沿的LLM方法通過擴大模型的大小來減少不良響應（又名“幻覺”），使其代表更多的訓練數據，...

摘要EnterpriseKnowledge的首席數據和人工智能解決方案架構師DavidHughes在1月25日2025數據日上發(fā)表了題為“釋放多模態(tài)GraphRAG的力量：集成圖像特征以獲得更深入的洞察”。在本次演講中，David通過引入多模態(tài)GraphRAG討論了GraphRAG的一個未被充分探索的維度——圖像的集成，MultimodalGraphRAG是一個將圖像數據帶到基于圖的推理和檢索前沿的創(chuàng)新框架。他演示了這種方法如何實現對圖像的更全面理解，從而放大洞察的深度和準確...

摘要檢索增強生成（RAG）是一種適用于檢索敏感電子健康記錄（EHR）的合適技術。它可以作為醫(yī)療副駕駛員Copilot的關鍵模塊，幫助減少醫(yī)療從業(yè)者和患者的誤診。然而，現有基于啟發(fā)式的醫(yī)療領域RAG模型的診斷準確性和特異性不足，特別是對于癥狀相似的疾病。本文提出MedRAG，一種通過知識圖譜（KG）引導推理提升的醫(yī)療領域RAG模型，根據癥狀檢索診斷和治療建議。MedRAG系統(tǒng)地構建了一個全面的四層分級診斷知識圖譜，涵蓋各種疾病的...

摘要生成式大型語言模型（LLMs）通過實現快速、類人的文本生成改變了人工智能領域，但它們面臨挑戰(zhàn)，包括管理不準確的信息生成。諸如提示工程、檢索增強生成（RAG）以及整合特定領域知識圖譜（KGs）等策略旨在解決這些問題。然而，尤其是在通過WebAPI使用封閉訪問LLM的開發(fā)者中，實現實驗的管理、可重復性和驗證所需水平仍存在挑戰(zhàn)，這增加了與外部工具集成的復雜性。為解決這一問題，我們正在探索一種軟件架構，通過優(yōu)先考慮靈...

摘要傳統(tǒng)的生物醫(yī)學人工智能（AI）模型，針對特定任務或模式設計，在實際應用中往往表現出有限的靈活性，并且難以利用整體信息。通用型AI由于其解釋不同數據類型的能力以及為多樣化需求生成定制輸出的能力，具有解決這些限制的潛力。然而，現有的生物醫(yī)學通用型AI解決方案通常對研究人員、從業(yè)者和患者而言是重量級且閉源的。在這里，我們提出了BiomedGPT，第一個開源且輕量級的視覺語言基礎模型，旨在作為一個能夠執(zhí)行各種生物...

摘要自ChatGPT和GPT4發(fā)布以來，大型語言模型（LLMs）和多模態(tài)大型語言模型（MLLMs）因其在理解、推理和生成方面的卓越能力而受到廣泛關注，為將人工智能整合到醫(yī)學中引入了變革性范式。本調查全面概述了LLMs和MLLMs在醫(yī)學中的發(fā)展、原理、應用場景、挑戰(zhàn)和未來方向。具體而言，它首先考察了范式轉變，追溯了從傳統(tǒng)模型到LLMs和MLLMs的轉變，并強調了這些LLMs和MLLMs在醫(yī)學應用中的獨特優(yōu)勢。接下來，調查回顧了現有的醫(yī)學LLMs和...

數據是現代企業(yè)的命脈，為從創(chuàng)新到戰(zhàn)略決策的方方面面提供動力。然而，隨著組織積累的信息量不斷增長（從技術文檔到內部通信），他們面臨著一項艱巨的挑戰(zhàn)：如何從海量的非結構化數據中提取有意義的見解和可操作的結構。檢索增強生成（RAG）已成為一種流行的解決方案，它通過集成相關的企業(yè)數據來增強AI生成的響應。雖然傳統(tǒng)的RAG方法對簡單的查詢有效，但在解決需要推理和交叉引用的復雜、多層次問題時，往往無法滿足要求。問...