?2020年2月，隨著 COVID-19在全球迅速傳播且抗原檢測難以獲得，一些醫(yī)生轉(zhuǎn)向人工智能(AI)來嘗試診斷病例。一些研究人員采用深度神經(jīng)網(wǎng)絡(luò)通過查看X射線和胸部計算機(jī)斷層掃描(CT)掃描來快速區(qū)分患有COVID-19肺炎的人和未患肺炎的人。

“在COVID-19大流行的早期，人們競相構(gòu)建工具，尤其是AI工具來提供幫助”，西雅圖華盛頓大學(xué)的計算機(jī)工程師Alex DeGrave說，“但研究人員并沒有注意到許多人工智能模型已經(jīng)決定走一些捷徑” 。

AI通過分析被標(biāo)記為COVID-19陽性和陰性的X射線圖片來訓(xùn)練模型，然后利用它們在圖像之間發(fā)現(xiàn)的差異性來進(jìn)行推斷，但是在當(dāng)時面臨著一個問題，“可用的訓(xùn)練數(shù)據(jù)并不多。”DeGrave說。

多家醫(yī)院公開了COVID-19患者的X射線照片（被標(biāo)記為COVID-19陽性），美國國立衛(wèi)生研究院在大流行之前收集的肺部圖像庫提供了未感染COVID-19的X射線數(shù)據(jù)（被標(biāo)記為COVID-19陰性），這些數(shù)據(jù)在被用作訓(xùn)練時存在無法忽視的誤作用，例如，許多X射線會使用字母R來標(biāo)記一個人身體右側(cè)，從而方便放射科醫(yī)生正確定位圖像與人體的關(guān)系，但是不同醫(yī)院采用的字母R的外觀不同，同時，大多數(shù)COVID-19陰性圖片來源單一，這使得最終使用這些數(shù)據(jù)訓(xùn)練的模型不僅會根據(jù)照片上顯示的生物特征進(jìn)行推斷，還會根據(jù)圖片上字母R的風(fēng)格與位置進(jìn)行推斷（如圖1所示）。

圖1 用作訓(xùn)練的X射線圖片

DeGrave和 Joseph Janizek 都是計算機(jī)科學(xué)家Su-In Lee位于西雅圖的生物和醫(yī)學(xué)科學(xué)可解釋AI實(shí)驗(yàn)室的成員，他們于2021年5月在《Nature Machine Intelligence》上發(fā)表了一篇論文，報告了前文所述問題。

機(jī)器學(xué)習(xí)模型的決策過程通常被學(xué)者稱為黑匣子，因?yàn)檠芯咳藛T通常只知道模型的輸入和輸出，但很難看到模型里面究竟發(fā)生了什么。

DeGrave和Janizek 使用旨在測試AI系統(tǒng)并解釋它們?yōu)槭裁催@樣做的技術(shù)來打開這些黑盒子，即構(gòu)建可解釋的AI模型。

構(gòu)建可解釋的AI（eXplainable AI，XAI）有很多優(yōu)勢，在醫(yī)療環(huán)境中，了解模型系統(tǒng)做出特定診斷的原因有助于讓病理學(xué)家相信它是合法的，因?yàn)樵谀承┣闆r下，法律要求做出解釋。例如，當(dāng)一個貸款系統(tǒng)就用戶貸款資格做出決定時，美國和歐盟都要求提供證據(jù)，證明拒絕信貸不是出于法律禁止的原因（例如種族或性別）。

深入了解AI系統(tǒng)的內(nèi)部工作原理還可以幫助計算機(jī)科學(xué)家改進(jìn)和完善他們創(chuàng)建的模型，甚至可能會帶來關(guān)于如何解決某些問題的新想法。

然而，只有當(dāng)XAI給出的解釋本身是可理解和可驗(yàn)證的，并且構(gòu)建模型的人認(rèn)為這是值得的努力時，XAI的好處才能實(shí)現(xiàn)。

神經(jīng)元

DeGrave和Janizek研究的深度神經(jīng)網(wǎng)絡(luò)因其不可思議的能力而廣受歡迎，因?yàn)樗鼈兡軌蛲ㄟ^曝光來了解照片中的內(nèi)容、口語的含義等等。

這些神經(jīng)網(wǎng)絡(luò)的工作方式與人腦相似，就像某些活性神經(jīng)細(xì)胞響應(yīng)外部刺激從而以某種模式發(fā)射一樣。例如，神經(jīng)網(wǎng)絡(luò)中的人工神經(jīng)元會在他們收到的輸入的基礎(chǔ)之上，當(dāng)看到一只貓時會觸發(fā)與看到一棵樹不同的模式，即神經(jīng)元會尋找到二者之間的差異性。

在這種情況下，神經(jīng)元是數(shù)學(xué)函數(shù)，輸入數(shù)據(jù)以數(shù)字形式進(jìn)入系統(tǒng)。例如描述照片中像素的顏色，然后神經(jīng)元對該數(shù)據(jù)執(zhí)行計算。在人體中，神經(jīng)元只有在收到的刺激超過某個電閾值時才會發(fā)出信號。類似地，人工神經(jīng)網(wǎng)絡(luò)中的每個數(shù)學(xué)神經(jīng)元都用一個閾值加權(quán)。

如果計算結(jié)果超過該閾值，則將其傳遞給另一層神經(jīng)元進(jìn)行進(jìn)一步計算。最終，系統(tǒng)會學(xué)習(xí)到輸出數(shù)據(jù)與輸入數(shù)據(jù)之間關(guān)系的統(tǒng)計模式。例如，被標(biāo)記為有貓的圖像將與那些標(biāo)記為沒有貓的圖像存在系統(tǒng)差異，然后這些明顯的差異可以幫助AI模型在其他圖像中確定貓存在的可能性。

神經(jīng)網(wǎng)絡(luò)的設(shè)計與其他機(jī)器學(xué)習(xí)技術(shù)存在差異。

神經(jīng)網(wǎng)絡(luò)模型作用于輸入的計算層（即hidden layer）越多，解釋模型在做什么的難度就越大。馬薩諸塞州波士頓大學(xué)的計算機(jī)科學(xué)家Kate Saenko說，“簡單的模型，例如小型決策樹并不是真正的黑匣子。小型決策樹‘基本上是一組規(guī)則’，人類可以很容易地理解該模型在做什么，因此它本質(zhì)上是可解釋的。然而，深度神經(jīng)網(wǎng)絡(luò)通常過于復(fù)雜，一個神經(jīng)網(wǎng)絡(luò)涉及數(shù)百萬計算，或者現(xiàn)在更可能是數(shù)十億計算，學(xué)者們很難對其內(nèi)在工作機(jī)理進(jìn)行解釋”。

一般來說，解釋深度神經(jīng)網(wǎng)絡(luò)神秘工作原理的工作涉及到找出輸入數(shù)據(jù)的哪些特征會影響輸出結(jié)果。

幫助DeGrave和Janizek確定胸部 X 射線圖片上的方向標(biāo)記（字母R）影響診斷的一種工具是顯著性圖（Saliency Map），這是一種用顏色編碼的圖表，顯示計算機(jī)在推斷時最關(guān)注圖像的哪一部分。如圖2所示。

Saenko 和她的同事開發(fā)了一種稱為D-RISE（用于解釋AI的檢測器隨機(jī)輸入采樣）的技術(shù)來生成此類映射。研究人員拍攝了一張照片，例如，一個裝滿鮮花的花瓶（圖2），并系統(tǒng)地屏蔽了圖像的不同部分，然后將其展示給負(fù)責(zé)識別特定對象（例如花瓶）的AI模型。然后，他們記錄每組像素的模糊程度如何影響結(jié)果的準(zhǔn)確性，并根據(jù)每個部分對識別過程的重要性對整張照片進(jìn)行顏色編碼。

不出所料，在一張裝滿鮮花的花瓶的照片中，花瓶本身被明亮的紅色和黃色照亮，這表明AI識別花瓶時，花瓶本身的存在很重要。但這并不是圖片中唯一突出顯示的區(qū)域。“顯著性一直延伸到一束鮮花，”Saenko說，“它們沒有被標(biāo)記為花瓶的一部分，但模型了解到，如果你看到鮮花，這個物體更有可能是花瓶。”D-RISE突出強(qiáng)調(diào)了會導(dǎo)致 AI 模型改變其結(jié)果的因素。

“這有助于了解他們可能犯了什么錯誤，或者他們是否出于錯誤的原因做某事，”Saenko說，他在該領(lǐng)域的工作部分由美國國防高級研究中心運(yùn)營的現(xiàn)已完成的XAI項目資助。

更改輸入數(shù)據(jù)以識別重要特征是探究許多AI模型的基本方法。

但賓夕法尼亞州匹茲堡卡內(nèi)基梅隆大學(xué)的計算機(jī)科學(xué)家Anupam Datta表示，這項任務(wù)在更復(fù)雜的神經(jīng)網(wǎng)絡(luò)中變得更具挑戰(zhàn)性，在這些復(fù)雜的情況下，科學(xué)家們不僅要弄清楚哪些特征在模型推斷中發(fā)揮作用以及這個作用效果有多大，而且還要弄清楚一個特征的重要性如何隨著其他特征的變化而變化。

“因果關(guān)系仍然存在，因?yàn)槲覀內(nèi)栽谠噲D找出哪些特征對模型的預(yù)測具有最高的因果影響，” Datta說，“但測量它的機(jī)制會發(fā)生一點(diǎn)變化。”，與Saenko的顯著性圖一樣，Datta系統(tǒng)地屏蔽了圖像中的單個像素，然后為圖像的該部分像素分配一個數(shù)學(xué)值，表示由于遮擋該部分而導(dǎo)致的變化幅度。看

到哪些像素是最重要的，可以告訴Datta隱藏層中的哪些神經(jīng)元在結(jié)果中的作用最大，從而幫助他更好地解釋模型工作原理。

可解釋性的好處

DeGrave和Janizek通過另一種復(fù)雜神經(jīng)網(wǎng)絡(luò)來測量顯著性圖，這種網(wǎng)絡(luò)叫做生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）。

典型GAN由一對網(wǎng)絡(luò)組成，一個負(fù)責(zé)生成數(shù)據(jù)（如街道的圖像），另一個嘗試確定該輸出是真實(shí)還是虛假的。這兩個網(wǎng)絡(luò)不停地以這種方式交互，直到第一個網(wǎng)絡(luò)可靠地創(chuàng)建能夠欺騙另一網(wǎng)絡(luò)的圖像。在他們的案例中，研究人員要求GAN將COVID-19陽性X射線突變轉(zhuǎn)為COVID-19陰性圖片，通過查看GAN修改了X射線圖片的哪些方面，研究人員可以確定圖片的哪一部分對AI模型產(chǎn)生了作用，從而增加模型可解釋性。

盡管GAN原理簡單，但研究人員對這對網(wǎng)絡(luò)的微妙動態(tài)改變還不是很清楚。“GAN生成圖像的方式很神秘，給定一個隨機(jī)輸入的數(shù)字，GAN最終會輸出一張看起來很真實(shí)的圖片”，計算機(jī)科學(xué)家Antonio Torralba說。Torralba和他的團(tuán)隊負(fù)責(zé)剖析GAN，查看GAN的每個神經(jīng)元到底在做什么，就像Datta一樣，他們發(fā)現(xiàn)GAN中一些神經(jīng)元會特別專注于某些特定概念。“我們找到了負(fù)責(zé)繪制樹木的神經(jīng)元組，負(fù)責(zé)繪制建筑物的神經(jīng)元組以及繪制門窗的神經(jīng)元”，Torralba說。

圖2 顯著性圖示例（圖中指出AI在識別花瓶時也注意到了花瓶中的花朵）

Torralba說，能夠識別出哪些神經(jīng)元正在識別或產(chǎn)生哪些物體，這為改進(jìn)神經(jīng)網(wǎng)絡(luò)提供了可能性，而無需向其展示數(shù)千張新照片。

如果一個模型已經(jīng)被訓(xùn)練來識別汽車，但它所訓(xùn)練的所有圖像都是鋪砌路面上的汽車，那么當(dāng)展示一張雪地上的汽車圖片時，模型可能會無法識別該車。但是了解模型內(nèi)部連接的計算機(jī)科學(xué)家能夠調(diào)整模型以識別一層雪，使其相當(dāng)于鋪砌的表面，從而提高模型識別該類型圖片的準(zhǔn)確率。類似地，可能想要自動創(chuàng)建不可能的場景的計算機(jī)特效設(shè)計師可以手動重新設(shè)計模型來實(shí)現(xiàn)這一點(diǎn)。

可解釋性的另一個價值是了解機(jī)器執(zhí)行任務(wù)的方式可以讓使用模型的人了解模型如何以不同的方式做事，并修改模型做其得更好。

計算生物學(xué)家 Laura-Jayne Gardiner 訓(xùn)練了一個AI來預(yù)測哪些基因在調(diào)節(jié)生物鐘（控制一系列生物過程的內(nèi)部分子計時器）中起作用。Gardiner和她在IBM Research Europe和英國諾里奇生命科學(xué)研究小組Earlham Institute的同事也讓計算機(jī)突出了它用來決定基因是否可能在晝夜節(jié)律中發(fā)揮作用的特征。

“我們只關(guān)注基因調(diào)控的啟動子，”加德納說，“但AI在基因序列中發(fā)現(xiàn)了研究人員會忽略的線索”,加德納解釋說；該團(tuán)隊可以在實(shí)驗(yàn)室的研究中使用AI來進(jìn)一步完善其對生物學(xué)的理解。

AI準(zhǔn)確性和可信度

卡內(nèi)基梅隆大學(xué)的計算機(jī)科學(xué)家 Pradeep Ravikumar 說，解釋AI是一個開始，但也應(yīng)該有一種方法來量化它們的準(zhǔn)確性，他正在研究自動化這種評估的方法，他認(rèn)為對人類來說似乎有意義的解釋實(shí)際上可能與模型實(shí)際在做什么幾乎沒有關(guān)系。

“如何客觀評估解釋AI這一問題仍處于早期階段，”Ravikumar 說，“我們需要得到更好的解釋，也需要更好的方法來評估解釋。”，測試解釋真實(shí)性的一種方法是對它所說的重要特征進(jìn)行小的改動。

如果解釋正確，那么輸入的這些微小變化應(yīng)該會導(dǎo)致輸出的巨大變化。樣，對不相關(guān)特征的大改動,比如，從貓的照片中刪除一輛公共汽車，應(yīng)該不應(yīng)該影響模型判斷結(jié)果。如果更進(jìn)一步評估AI，不僅可以預(yù)測哪些特征很重要，還可以預(yù)測如果對這些特征進(jìn)行微小更改，模型的推測判斷結(jié)果將如何變化。“如果一個解釋實(shí)際上是在解釋模型，那么它就會更好地了解模型在這些微小變化下的表現(xiàn)”Ravikumar 說。

解釋AI內(nèi)在工作原理有時看起來像是一項繁重的工作，以至于許多計算機(jī)科學(xué)家可能會想跳過它，并從表面上看待AI的結(jié)果。但至少某種程度的可解釋性相對簡單，例如，顯著性圖現(xiàn)在可以快速且廉價地生成，相比之下，訓(xùn)練和使用GAN更加復(fù)雜和耗時。

“你肯定必須非常熟悉深度學(xué)習(xí)的東西，以及一臺帶有一些圖形處理單元的好機(jī)器才能讓它工作，”Janizek 說。他的團(tuán)隊嘗試的第三種方法——使用照片編輯軟件手動修改數(shù)百張圖像以確定某項特征是否重要——甚至更加耗費(fèi)人力。

機(jī)器學(xué)習(xí)社區(qū)的許多研究人員也傾向于在模型可解釋性和準(zhǔn)確性之間進(jìn)行權(quán)衡。他們認(rèn)為，龐大的計算量使得神經(jīng)網(wǎng)絡(luò)輸出更準(zhǔn)確，也使它們超出了人類的理解范圍。但有些人質(zhì)疑這種權(quán)衡是否真實(shí)，Janizek 說。“最終可能會出現(xiàn)這樣的情況，即一個更可解釋的模型是一個更有用的模型和一個更準(zhǔn)確的模型。”

Ravikumar 說，無論可解釋性的挑戰(zhàn)是大是小，一個好的解釋并不總是足以說服用戶依賴一個系統(tǒng)，知道為什么人工智能助手（例如亞馬遜的 Alexa）以某種方式回答問題可能不會像禁止濫用私人對話記錄的法律那樣促進(jìn)用戶之間的信任，也許醫(yī)生需要臨床證據(jù)證明計算機(jī)的診斷隨著時間的推移證明是正確的。政策制定者可能會要求將有關(guān)使用此類系統(tǒng)的一些保護(hù)措施寫入法律。

然而，在解釋領(lǐng)域，人工智能研究人員已經(jīng)取得了長足的進(jìn)步。Torralba 說，盡管可能仍有一些細(xì)節(jié)需要制定以涵蓋正在使用的各種機(jī)器學(xué)習(xí)模型，但這個問題可能會在一兩年內(nèi)得到解決。

他說，“人們總是談?wù)撨@個黑匣子，我們不認(rèn)為神經(jīng)網(wǎng)絡(luò)是黑匣子。如果他們工作得非常好，那么如果你仔細(xì)觀察，他們所做的事情是有道理的。”?