01、概述 

在醫學領域，信息的精確性、可靠性和安全性至關重要。隨著人工智能（AI）技術的發展，大型語言模型（LLM）如GPT-3和BERT為醫學領域帶來了新的機遇。這些模型在語言處理方面的能力，使其在醫學應用中顯示出巨大潛力，包括知識檢索、臨床決策支持和患者分流。

多醫學問答：醫學問題回答基準

為了評估LLM在醫學背景下的表現，研究人員策劃了多醫學問答（MultiMedQA），這是一個結合了七個醫學問題回答數據集的基準。這個基準包括：

• MedQA（USMLE風格問題）
• MedMCQA
• PubMedQA
• MMLU臨床主題的多項選擇數據集
• HealthSearchQA
• LiveQA
• MedicationQA

多醫學問答允許研究人員從多個角度評估LLM，包括：

• 事實性：答案與當前醫學共識的一致性
• 理解力：理解和解釋醫學信息的能力
• 推理能力：應用醫學知識以得出結論的能力
• 風險和偏見：答案誤導或延續有害偏見的潛力

02、PaLM和Flan-PaLM：基線模型 

研究中使用了谷歌的Pathways Language Model（PaLM）及其經過指令調整的變體Flan-PaLM作為基線模型。

• PaLM：在大量文本和代碼數據集上訓練，展示了在各種推理任務上的卓越表現
• Flan-PaLM：進一步使用指令和示例進行微調，在多個基準測試中取得了最先進的結果

研究人員在多醫學問答上測試了這些模型，使用了多種提示策略，如少量樣本、思維鏈（COT）和自我一致性提示。值得注意的是，Flan-PaLM在所有多項選擇數據集上都取得了最先進的準確性，甚至在某些方面超過了人類的表現。

03、解決Flan-PaLM的局限性

指令提示調整和Med-PaLM

盡管Flan-PaLM在多項選擇問題上表現強勁，但在回答消費者醫學問題時顯示出顯著的局限性，這突顯了與醫學領域進一步對齊的必要性。為此，研究人員引入了指令提示調整，這是一種新穎的方法，用于使LLM適應特定領域，如醫學。

這種技術建立在提示調整的基礎上，這是一種參數高效的方法，用于使LLM適應下游任務。指令提示調整涉及在輸入前添加一個學習到的軟提示，后跟硬提示（指令和示例）。這種組合引導模型生成更具體于領域的適當反應。

通過將指令提示調整應用于Flan-PaLM，并結合臨床醫生精心策劃的示例和指令，研究人員創建了Med-PaLM。這個新模型專門針對醫學領域設計，展現了顯著的改進：

• 科學依據：使答案與當前醫學共識保持一致
• 降低風險：最小化有害建議的潛力
• 減少偏見：減少包含偏見信息
• 人類評估：將Med-PaLM與臨床醫生進行比較

為了評估Med-PaLM在現實世界場景中的表現，研究人員進行了涉及臨床醫生和普通用戶的人類評估。他們比較了Med-PaLM和Flan-PaLM生成的答案與臨床醫生對消費者醫學問題提供的答案。

04、性能評估結果

臨床醫生評估：Med-PaLM的答案在所有評估方面都明顯優于Flan-PaLM，包括科學準確性、潛在風險、偏見和完整性……然而，臨床醫生生成的答案總體上仍然更優越。

普通用戶評估：與Flan-PaLM相比，Med-PaLM被認為更有幫助，更相關于用戶意圖，盡管它仍未達到臨床醫生的表現。

關鍵觀察

規模提升性能：像PaLM 540B這樣的大型語言模型一貫優于小型模型，這表明它們在編碼和利用醫學知識方面具有固有能力。

指令提示調整至關重要：這種技術對于將LLM與醫學領域對齊至關重要，與通用指令調整相比，它產生了更安全、更準確、更少偏見的回答。

未來方向和挑戰

這項研究突出了像Med-PaLM這樣的LLM在革新醫學信息獲取和利用方面的潛力。然而，仍然存在重大挑戰：

• 擴展多醫學問答：包括更多樣化的醫學領域、語言和任務，更好地反映現實世界的臨床工作流程。
• 提升LLM能力：改進醫學文獻的基礎，提高不確定性溝通、多語言支持和安全對齊。

05、結語

Med-PaLM的發展展示了LLM在協助醫學問題回答方面的潛力。盡管挑戰依然存在，但這項研究為醫學AI未來的創新鋪平了道路，最終目標是創造更安全、更易于訪問、更公平的醫療解決方案。持續的研究、利益相關者之間的合作以及對倫理影響的仔細考慮，對于實現LLM在醫學領域的全部潛力至關重要。

?

本文轉載自公眾號Halo咯咯  作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/vbUYFXw-8r-lSBCYDHzF2w??