在醫療保健業務的大計劃中，預測模型所發揮的作用與驗血、X 射線或 MRI 的作用無異：它們影響有關干預是否合適的決策。

“從廣義上講，模型進行數學運算并產生概率估計，幫助醫生和患者決定是否采取行動，”斯坦福醫療保健?首席數據科學家和 斯坦福大學 HAI? 教員Nigam Shah表示。但這些概率估計只有在觸發更有益的決策時才對醫療保健提供者有用。

“作為一個社區，我認為我們被模型的性能所困擾，而不是問這個模型有用嗎?” Shah說。  “我們需要跳出這種模式思考。”

Shah 的團隊是少數幾個評估醫院是否有能力基于模型進行干預的醫療保健研究小組之一，以及干預措施是否對患者和醫療機構有益。

“人們越來越擔心人工智能研究人員正在左右構建模型而沒有部署任何東西，”Shah 說。造成這種情況的一個原因是建模者未能進行有用性分析，以顯示由模型觸發的干預如何以具有成本效益的方式融入醫院運營，同時弊大于利。““如果模型開發者愿意花時間進行這種額外的分析，醫院也會關注的。”他說。

Shah 表示，運籌學、醫療保健政策和計量經濟學領域已經存在進行有用性分析的工具，但醫療保健領域的模型開發人員使用它們的速度很慢。他自己的團隊試圖通過發表一些論文來改變這種心態，敦促更多的人評估他們的模型的實用性。其中包括一份JAMA?論文，闡述了建模者考慮有用性的必要性，以及一份研究論文，該論文提出了一個分析預測模型在醫療保健中的有用性的框架，并展示了它如何使用現實世界的例子來工作。

“就像醫院可能在其運營中添加的任何新事物一樣，部署新模型必須是值得的，”Shah 說。“有成熟的框架來確定模型的價值。現在是建模師使用它們的時候了。”

了解模型、干預措施以及干預措施的利弊之間的相互作用 

如上圖所示，模型的有用性取決于模型之間的相互作用、它觸發的干預以及干預的利弊，Shah 說。

首先，這個模型——它經常得到最大的關注——應該擅長預測它應該預測的任何東西，無論是病人再入院的風險還是患糖尿病的風險。此外，Shah 說，它必須是公平的，這意味著它產生的預測同樣適用于所有人，無論種族、民族、國籍或性別如何；而且必須可以從一個醫院站點推廣到另一個醫院站點]，或者至少對當地醫院人口做出可靠的預測；此外，它還應該是可解釋的。

其次，醫療機構必須根據測試或模型制定關于何時以及如何進行干預的政策，以及關于誰負責干預的決定。他們還必須有能力（足夠的人員、材料或其他資源）進行干預。 

Shah表示，制定關于是否或如何以特定方式干預以響應模型的政策會影響健康公平。談到公平，Shah 表示，“研究人員花了太多的時間關注一個模型是否對所有人都同樣準確，而沒有足夠的時間關注干預是否會讓所有人平等受益——盡管我們試圖解決的大多數不公平現象都來自后者。”

例如，預測哪些病人在預約時不會出現，如果它的預測對所有種族和民族群體都一樣準確，那么它本身可能并不不公平，但如何干預的選擇——是否重復預約時間或提供交通支持以幫助人們到達預約地點——可能會對不同群體的人產生不同的影響。

第三，干預的利大于弊。Shah說，任何干預都可能產生積極和消極的后果。因此，模型預測的有用性將取決于它所觸發的干預措施的利弊。

要了解這種相互作用，請考慮一個常用的預測模型：動脈粥樣硬化性心血管疾病 (ASCVD) 風險方程，它依賴于九個主要數據點（包括年齡、性別、種族、總膽固醇、低密度脂蛋白/高密度脂蛋白膽固醇、血壓、吸煙病史、糖尿病狀態和抗高血壓藥物的使用）來計算患者 10 年心臟病發作或中風的風險。Shah 說，對 ASCVD 風險方程的充實有用性分析將考慮上圖的三個部分，并發現它是有用的。

首先，該模型被廣泛認為對心臟病具有高度預測性，并且還具有公平性、可推廣性和可解釋性。其次，大多數醫療機構通過遵循標準政策進行干預關于開他汀類藥物的風險水平，并且有足夠的干預能力，因為他汀類藥物廣泛可用。最后，對他汀類藥物使用的危害/益處分析表明，大多數人從他汀類藥物中受益，盡管有些患者不能忍受他們的副作用。

模型有用性分析的一個例子：高級護理計劃

上面的 ASCVD 示例雖然具有說明性，但可能是最簡單的預測模型之一。但預測模型有可能觸發干預措施，從而以更復雜的方式擾亂醫療保健工作流程，并且某些干預措施的利弊可能不太清楚。

為了解決這個問題， Shah 和他的同事開發了一個框架來測試預測模型在實踐中是否有用。他們使用觸發稱為高級護理計劃（ACP）的干預的模型演示了該框架。 

ACP 通常提供給即將結束生命的患者，涉及對未來可能發生的情況以及患者失去能力時的愿望進行公開和誠實的討論。這些對話不僅讓患者對自己的生活有一種控制感，而且還降低了醫療成本，提高了醫生的士氣，有時甚至提高了患者的生存率。

Shah 在斯坦福的團隊開發了一個模型，可以預測哪些住院病人可能在未來 12 個月內死亡。我們的目標是：確定哪些患者可能從 ACP 中受益。在確保該模型可以很好地預測死亡率并且公平、可解釋和可靠之后，該團隊進行了兩項額外的分析，以確定該模型觸發的干預是否有用。

第一個是成本效益分析，發現成功的干預（向模型正確識別為可能受益的患者提供 ACP）將節省約 8,400 美元，同時對不需要 ACP 的人進行干預（即模型錯誤）將花費大約 3,300 美元。“在這種情況下，非常粗略地說，即使我們只對了三分之一，我們也會收支平衡，”Shah 說。 

但分析并沒有就此停止。“為了節省那些承諾的 8,400 美元，我們實際上必須執行一個工作流程，例如，在 48 小時內涉及 21 個步驟、三個人和七個交接，”Shah 說。“那么，在現實生活中，我們能做到嗎？” 

為了回答這個問題，該團隊模擬了 500 個住院日的干預，以評估醫療服務提供因素，如人員有限或時間不足（由于患者出院）將如何影響干預的益處。他們還量化了增加住院人員與在門診提供 ACP 相比的相對收益。結果：擁有門診選項可確保實現更多預期收益。“我們只需要跟進一半的出院患者即可獲得 75% 的效用，這非常好，”Shah 說。

這項工作表明，即使你有一個非常好的模型和一個非常好的干預，只有當你也有能力提供干預時，一個模型才會有用，Shah 說。雖然事后來看可能會讓這個結果看起來很直觀，但 Shah 說，當時情況并非如此。“如果我們沒有完成這項研究，斯坦福醫院可能剛剛擴大了提供 ACP 的住院能力，盡管它的成本效益不是很高。”

Shah 的團隊用于分析模型、干預措施以及干預措施的利弊之間相互作用的框架可以幫助確定在實踐中有用的預測模型。“至少，建模者應該進行某種分析，以確定他們的模型是否會提示有用的干預措施，”Shah 說。“這將是一個開始。”