譯者 | 朱先忠

審校 | 重樓

在劍橋大學擔任神經成像和人工智能研究科學家期間，我面臨著使用最新的深度學習技術，尤其是nnU-Net，在復雜的大腦數據集上進行圖像分割的挑戰。在這項工作中，我注意到存在一個顯著的差距：對不確定性估計的忽視！然而，不確定性對于可靠的決策卻是至關重要的。

在深入研究有關細節之前，您可以隨意查看我的Github存儲庫，其中包含本文中討論的所有代碼片段。

不確定性在圖像分割中的重要性

在計算機視覺和機器學習領域，圖像分割是一個核心問題。無論是在醫學成像、自動駕駛汽車還是機器人領域，準確的分割對于有效的決策至關重要。然而，一個經常被忽視的方面是與這些分割相關的不確定性的衡量。

為什么我們要關心圖像分割中的不確定性？

在許多實際應用中，不正確的分割可能會導致可怕的后果。例如，如果一輛自動駕駛汽車誤認了一個物體，或者醫學成像系統錯誤地標記了一個腫瘤，后果可能是災難性的。不確定性估計為我們提供了一個衡量模型對其預測的“確定度”的指標，從而做出更明智的決策。

我們還可以使用熵作為不確定性的度量來改進我們神經網絡的學習。這一領域被稱為“主動學習”。有關這一想法的更多的細節將在下一篇文章中探討，不過主要想法還是確定模型最不確定的區域，以便將重點放在這些區域上。例如，我們可以讓卷積神經網絡（CNN）對大腦進行醫學圖像分割，但對患有腫瘤的受試者表現非常差。然后我們可以集中精力獲得更多這種類別的標簽。

理解熵概念

熵（Entropy）是從熱力學和信息論中借來的一個概念，它量化了系統中的不確定性或隨機性。在機器學習的背景下，熵可以用來測量模型預測的不確定性。

在數學上，對于具有概率質量函數P（X）的離散隨機變量X，熵H（X）定義為：

或者在連續的情況下：

熵越高，不確定性就越大；反之亦然。

下面，我們給出一個經典的例子來輔助充分掌握熵這個概念：

情形1：兩面不均勻的硬幣

想象一下，一枚非均勻的硬幣，正面向上的概率為p=0.9，反面向上的概率為1-p=0.1。

于是，它的熵是：

情況2：兩面均勻的硬幣

現在讓我們想象一個兩面均勻的硬幣，它的正面和反面都著地的概率都是p=0.5。于是，其熵為：

熵更大時，這與我們之前所說的一致，即有：更多的不確定性=更多的熵。

實際上，值得注意的是，p＝0.5對應于最大熵：

熵的可視化描述（作者本人自制圖像）

從直覺上來看，均勻分布對應熵最大的情況。如果每個結果都是同樣可能的，那么這將對應于最大的不確定性。

熵在圖像分割中的實現

為了將其與圖像分割聯系起來，請考慮在深度學習中，最終的Softmax層通常提供每個像素的類別概率。可以基于這些Softmax輸出來容易地計算每個像素的熵。

但這是如何工作的呢？

當模型對屬于特定類別的特定像素非常有信心時，Softmax層對該類別顯示出高概率（~1），而對其他類別顯示出非常小的概率（~0）。

Softmax圖層（非常有信心的情形，作者自制圖片）

相反，當模型不確定時，Softmax輸出更均勻地分布在多個類別中。

Softmax層的不確定性情況（作者自制圖片）

顯然，上面的概率結果表現得比較分散，如果你還記得的話，這接近于均勻分布的情況，因為模型無法決定哪個類別與像素相關。

如果你能堅持閱讀到現在，那就太好了！這說明你應該對熵的工作原理有很好的直覺理解了。

案例研究：醫學影像學

接下來，讓我們使用一個醫學成像的實際例子來說明這一點，特別是胎兒的T1大腦掃描的情況。有關這個案例研究的所有代碼和圖像都可以在我的Github存儲庫中找到。

1.用Python編程計算熵

正如我們之前所說，我們正在使用神經網絡給出的Softmax輸出張量。這種方法不依賴于具體的模型，它只使用每個類別的概率。

下面，讓我們來澄清一些關于我們正在處理的張量的維度的重要內容。

如果使用2D圖像，則Softmax層的形狀應為：

這意味著，對于每個像素（或三維像素），我們都有一個大小為Classes的向量，這樣就確定了一個像素屬于我們所擁有的每個類別的概率。

于是，熵應該是沿著第一維度的計算結果：

def compute_entropy_4D(tensor):
 """
 計算具有形狀（number_of_classes，256256256）的4D張量上的熵。

 參數：
 tensor (np.ndarray)： 形狀 (number_of_classes, 256, 256, 256)的4D張量。

 返回值：
 np.ndarray： 形狀(256, 256, 256)的3D張量，相應于每一個像素的熵值。
 """

 # 首先，沿著類別坐標軸歸一化張量，使其表示概率
 sum_tensor = np.sum(tensor, axis=0, keepdims=True)
 tensor_normalized = tensor / sum_tensor

 # 計算熵
 entropy_elements = -tensor_normalized * np.log2(tensor_normalized + 1e-12) # 添加一個小數，以避免log(0)
 entropy = np.sum(entropy_elements, axis=0)

 entropy = np.transpose(entropy, (2,1,0))

 total_entropy = np.sum(entropy)

 return entropy, total_entropy

2.可視化基于熵的不確定性

現在，讓我們在圖像分割的每個切片上使用熱圖來可視化不確定性。

T1掃描（左），分割（中），熵（右）：作者自制圖像

讓我們看看另一個例子：

T1掃描（左），分割（中），熵（右）：作者自制圖像

結果看起來很棒！事實上，我們可以看到這是一致的，因為高熵區位于形狀的輪廓處。這是正常的，因為模型并不真正懷疑每個區域中間的點，而是很難發現的邊界或輪廓。

做出知情決策

總體來看，本文介紹的上述這種不確定性可以通過多種不同的方式使用：

1. 隨著醫學專家越來越多地將人工智能作為一種工具，意識到模型的不確定性至關重要。這意味著，醫學專家可能會在需要更精細關注的區域花費更多時間。
2. 在主動學習或半監督學習的背景下，我們可以利用基于熵的不確定性來關注具有最大不確定性的例子，并提高學習效率（更多關于這一點的信息，請參閱后續文章）。

主要收獲

• 熵是衡量系統隨機性或不確定性的一個非常強大的概念。
• 在圖像分割中利用熵是可能的。這種方法是無模型（即“不依賴具體的模型”）的，并且只使用Softmax輸出張量。
• 不確定性估計被忽略了，但它是至關重要的。優秀的數據科學家知道如何制作好的模型。大數據科學家知道他們的模型在哪里失敗，并利用它來改進學習。

最后，如果你喜歡這篇文章，并且想了解更多的相關信息的話，請查看這個代碼倉庫：https://github.com/FrancoisPorcher?source=post_page-----812cca769d7a

譯者介紹

朱先忠，51CTO社區編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標題：Entropy based Uncertainty Prediction，作者：Fran?ois Porcher