神經網絡被用的越來越多了。

[[357551]]

無論是醫療診斷還是自動駕駛，在許多關乎人類安全與健康的重要領域，神經網絡逐漸開始發揮作用。

但是這些神經網絡，可信嗎？

我們都知道，神經網絡善于從大型、復雜的數據中識別模式，以幫助人類決策，但是它進行識別的過程卻是一個黑箱。

一些AI研究者就試圖揭開這一秘密，找出神經網絡可信度的答案。

在一個麻省理工（MIT）和哈佛大學合作的項目中，亞歷山大·阿米尼（Alexander Amini）和他的同事們就在探索這一問題，他們開發了一種可以處理數據的神經網絡，不僅可以輸出預測結果，還可以根據可用數據的質量，給出模型的可信賴水平。

簡單來說，就是讓神經網絡自己對自己的結果可信度打個分，顛顛自己“幾斤幾兩”！

打個比方，在自動駕駛中，模型通過對各種傳感器的數據進行分析，這就是“交叉路口一切正常”和“可能安全，要以防萬一”的區別。

目前的神經網絡不確定性評估往往成本昂貴，并且要耗費相當長的時間，但是阿米尼提出的“深度證據回歸”（deep evidential regression），可以加速這一過程，并且得到更可靠的結果。

麻省理工學院計算機科學與人工智能實驗室（CSAIL）DanielaRus教授團隊的博士生Amini說：“我們不僅需要擁有高性能的模型，還需要理解什么時候我們不能信任這些模型。”

“這個想法很重要，適用范圍很廣。它可以用來評估依賴于學習模型的產品。通過對學習模型的不確定性進行估計，我們還可以了解該模型可能帶來的誤差，以及哪些缺失的數據可以改進該模型。”Rus說。

阿米尼將在 NeurIPS 會議上展示這項研究，Rus將與他一起赴會。

有效的不確定性

在經歷了一段起伏不定的歷史之后，深度學習已經在各種任務中展現出了卓越的表現，在某些情況下甚至超過了人類的準確性。

現在，深度學習似乎無處不在。它為搜索引擎結果、社交媒體訂閱和人臉識別提供了技術基礎。“我們已經通過深度學習取得了巨大的成功，”阿米尼說。“神經網絡在 99% 的時間里都很擅長知道正確的答案。”

但是在生命面前，容不得AI 1%的僥幸。

阿米尼說: “研究人員一直在逃避的一件事，這些模型需要知道并告訴我們它們可能是錯誤的。”

“我們真正關心的是那1%的時候，以及我們如何能夠可靠而有效地發現這些情況。”

神經網絡有的規模非常大，有的擁有高達數十億的參數。因此，僅僅為了得到一個答案，這可能是一個繁重的計算工作，更不用說置信度了。

神經網絡中的不確定性分析并不新鮮。但是之前基于貝葉斯深度學習的方法，是多次依賴于運行，或抽樣一個神經網絡來理解它的可信度。這個過程需要大量的時間和內存，在像智能交通這樣的場景中就不實用了。

研究人員設計了一個只從單個運行的神經網絡來估計不確定性的方法。他們設計的網絡具有多個輸出，不僅可以輸出一個預測，而且會產生一個新的概率分布，捕獲支持該預測的可信度。

這些分布稱為證據分布，直接捕獲模型的可信度。這包括基礎輸入數據中存在的任何不確定性，以及對模型的最終決策的影響。這種區別可以表明是否可以通過調整神經網絡本身來減少不確定性，或者輸入的數據是否只是噪聲。

檢查可信度

為了測試他們的方法，研究人員決定從一項具有挑戰性的計算機視覺任務開始。

他們訓練自己的神經網絡來分析單目彩色圖像，并估計每個像素的深度值（即距離相機鏡頭的距離）。無人車輛可能會使用該計算方法來估計它與行人或其他車輛的距離，這并不是一個簡單的任務。

他們的神經網絡性能與先前最先進的模型不相上下，并且它還擁有估計自身不確定性的能力。正如研究人員所預料的那樣，這個神經網絡在預測錯了的地方輸出了高度的不確定性。

阿米尼說: “它是根據網絡產生的誤差進行校準的，我們認為這是衡量可信度預測器質量的最重要的事情之一。”

為了對他們的校準進行壓力測試，研究小組還表明，網絡對“分布不均”的數據預測了更高的不確定性——這是訓練期間從未遇到過的全新類型的圖像。在他們對網絡進行了室內家庭場景的訓練之后，他們給網絡輸入了一批室外駕駛場景。

該神經網絡一直發出警告，表示它對未曾識別過的戶外場景的反應是不確定的。該測試突出了網絡在用戶不應完全信任其決策時進行報警的能力。

在這種情況下，“如果這是一個醫療保健應用程序，也許我們不相信模型提供的診斷，而是尋求其他意見。”阿米尼說。

該網絡甚至知道照片何時被篡改，從而有可能防范數據操縱攻擊。

在另一個試驗中，研究人員在一批圖像中提高了對抗性的噪音水平，并將這些圖像發送到網絡中。這種改動是微妙的，幾乎不為人類所察覺，但神經網絡發現了這些圖像，并用高度不確定性標記了輸出結果。這種對偽造數據發出警報的能力可以幫助偵測和阻止敵對性攻擊，這在深度造假時代是一個日益令人擔憂的問題。

“深度證據回歸”是“一種簡單而優雅的方法，它推進了不確定性估計領域，這對于機器人和其他現實世界的控制系統非常重要，”

DeepMind 的人工智能研究員 Raia Hadsell 評論說。“這種方法以一種新穎的方式完成，避免了其它方法的一些混亂方面，例如采樣或集合，這不僅使它優雅，而且計算效率更高，是一種成功的組合。”

“深度證據回歸”可以提高人工智能輔助決策的安全性。阿米尼說: “我們開始看到越來越多的神經網絡模型從實驗室慢慢流出，進入現實世界，進入可能危及人類生命的環境。”

“任何使用這種方法的人，無論是醫生還是坐在車輛乘客座位上的人，都需要意識到與這一決定相關的任何風險或不確定性。”他設想這個系統不僅可以快速識別不確定性，而且可以用來在危險的情況下做出更加保守的決策，比如一輛無人汽車經過一個十字路口的時候。

“任何有部署機器學習的領域最終都需要有可靠的可信度指標。”他說。