助理教授Marzyeh Ghassemi探討了醫學數據中隱藏的偏見如何影響了人工智能的方法。

Marzyeh Ghassemi在麻省理工學院攻讀計算機科學學位論文時，寫了幾篇關于人工智能的機器學習技術如何應用于臨床數據以預測患者預后的論文?！爸钡轿业牟┦垦芯拷Y束，我的一位委員會成員提問到：‘你有沒有檢查過你的模型在不同人群中的作用情況?’”

這個問題讓Ghassemi大開眼界，他之前評估過所有患者模型的總體表現。仔細觀察后，她發現模型對于黑人女性所在群體的工作方式通常是不同的——尤其是更糟——這一發現讓她感到驚訝。她說：“我事先沒有把健康差異直接轉化為模型差異聯系起來?！??！拌b于我是麻省理工學院中一名擁有少數族裔女性身份的計算機科學家，我有理由相信許多其他人也沒有意識到這一點?！?/p>

在1月14日發表在《模式》(Patterns)雜志上的一篇論文中，Ghassemi(她于2017年獲得博士學位，現在是電子工程和計算機科學系以及麻省理工學院醫學工程和科學研究所(IMES)的助理教授。)和她的合著者——波士頓大學的Elaine Okanyene Nsoesie對人工智能在醫學中的應用前景提出了警告。Ghassemi 指出：“如果謹慎使用，這項技術可以提高醫療保健的績效，并有可能減少不公平現象。”“但如果我們不小心，這項技術可能會使醫療狀況惡化?！?/p>

考慮到人工智能往往通過處理和分析大量數據來訓練自身，一切都可以被歸結為數據。但它們得到的數據是由人類產生的，而人類又是善變的，它們的判斷可能會因為與之互動的病人的年齡、性別和種族的不同而受到蒙蔽，它們自己卻并不知道這一點。

此外，醫學條件本身仍然存在很大的不確定性。Ghassemi說：“在同一所醫學院接受了十年培訓的醫生們經常會對患者的診斷產生分歧?！?。這與現有機器學習算法的應用不同——比如物體識別任務——因為幾乎世界上每一個人都會同意狗就是狗。

機器學習算法在掌握國際象棋和圍棋等游戲方面也表現良好，在這些游戲中，規則和“獲勝條件”都有著明確的定義。然而，醫生并不總是能就治療患者的規則達成共識，甚至連“健康”的標準也缺乏廣泛認同。“醫生們知道生病意味著什么，” Ghassemi解釋說，“我們在人們生病最嚴重的時候掌握著最多的數據。但我們沒能從健康的人那里獲得太多的數據，因為人們在健康的時候看醫生的可能性較小?！?/p>

即使是機械設備也可能帶來數據缺陷和治療差異。例如，脈搏血氧儀主要針對淺膚色的人進行校準，但不能準確測量深膚色的人的血氧水平。當氧氣水平較低時，這些缺陷最為嚴重——準確的讀數正是最迫切的時候。Ghassemi和Nsoesie寫道，類似地，女性在“金屬對金屬”髖關節置換術中面臨更大的風險，“部分原因是植入物設計中沒有考慮到解剖學差異?！边@樣的事實可能會隱藏在輸入計算機模型的數據中，其輸出將因此受到破壞。

Ghassemi說，機器學習算法的產品來自于計算機，它提供了“客觀性的曙光”。但這可能具有欺騙性和危險性，因為與忽略一位可能不稱職(甚至可能帶有種族主義色彩)的醫生的建議相比，更難找出大量提供給計算機的錯誤的數據。“問題不在于機器學習本身，”她堅稱。“是人。人類護理人員有時會產生糟糕的數據，因為他們并不完美。”

盡管如此，她仍然相信機器學習可以在醫療保健方面提供更有效、更公平的建議和實踐。實現機器學習在醫療保健領域前景的一個關鍵是提高數據質量，這不是一項容易的任務。Ghassemi說，“想象一下，如果我們能從表現最好的醫生那里獲取數據，并與其他培訓和經驗較少的醫生分享這些數據的話，我們確實需要收集這些數據并對其進行審計?！?/p>

她指出，這里的挑戰是數據收集沒有激勵或獎勵。“要獲得這方面的資助，或要求學生花時間在這方面并不容易。數據提供商可能會說，‘當我可以把數據以數百萬美元的價格賣給一家公司時，為什么我要免費提供我的數據?’但研究人員應該能夠訪問數據，而不必處理類似這樣的問題：“我在什么文件上獲得許可，才能換取你對我所在機構數據的訪問?”

“獲得更好的醫療保健的唯一途徑是獲得更好的數據，” Ghassemi說，“而獲得更好數據的唯一途徑則是鼓勵數據的發布。”

不僅僅是數據收集的問題。還有一個問題是誰來收集和審查數據。Ghassemi建議召集不同的研究群體——臨床醫生、統計學家、醫學倫理學家和計算機科學家——首先要收集不同的患者數據，然后“專注于開發公平合理的醫療保健改進措施，不僅可以在一個先進的醫療環境中部署，而且可以在廣泛的醫療環境中部署?！?/p>

她說，文章的目的不是阻止技術專家將他們在機器學習方面的專業知識帶到醫學領域中?！八麄冎皇切枰J識到治療中出現的差距，以及在批準某一特定計算機模型之前應該考慮的其他復雜因素。”