在深度學習的世界里，Boltzmann機器是一種很有趣的模型，通過概率來理解數據。想象一下，我們有很多變量，它們之間的關系就像一張復雜的網。Boltzmann機器就是試圖描述這些變量之間的概率關系。它有不同的版本，比如深Boltzmann機器（DBM）和受限Boltzmann機器（RBM）。

RBM是一種比較常用的形式，它避免了模型同一層內的連接，這樣可以使用更高效的基于塊的近似推理方法。但是，我們不禁要問，除了這種限制，還有沒有其他的限制方式也能讓推理變得高效呢？這就引出了我們今天要介紹的新模型——單調深度Boltzmann機器（Monotone Deep Boltzmann Machines，mDBM）。

一、背景知識

1.平衡模型及其收斂性

首先要提到的是深度平衡模型(DEQ)。它是由Bai等人提出的，就像一個神奇的公式，可以模擬一個無限深度的網絡。后來，Winston和Kolter又提出了一種參數化的DEQ(monDEQ)，它可以保證收斂到一個獨特的固定點。這就像給模型找到了一個穩定的“家”，讓它不會亂跑。

2.馬爾可夫隨機場(MRF)及其變體

MRF是一種基于能量的模型，Boltzmann機器就是它的一種形式。其中，RBM是比較成功的變體，它通過特定的能量函數定義來避免層內連接。但是我們的mDBM不一樣，它允許層內連接，更加靈活和強大。

3.并行和收斂的平均場

平均場更新通常使用坐標上升算法在局部收斂。但是有很多研究都在嘗試并行化更新。比如Kr?henbühl和Koltun提出的方法，還有Baqué等人的方法。我們的mDBM在這方面也有自己的創新，它可以保證在并行更新時收斂到一個全局最優的平均場固定點。

圖1：不同玻爾茲曼機的神經網絡拓撲結構。一般情況是一個完全圖（紅色虛線是玻爾茲曼機中有但受限玻爾茲曼機中沒有的邊的子集）。

二、單調深Boltzmann機器（mDBM）的奧秘

1.單調參數化

• 我們是如何讓mDBM變得獨特的呢?首先是參數化。我們通過一種特殊的方式來定義模型中的成對勢，使得它們滿足一定的單調性條件。就像給模型的各個部分設定了規則，讓它們按照我們想要的方式“行動”。
• 具體來說，我們定義了一些矩陣和運算，比如通過對矩陣A的處理來得到成對勢Φ。這樣的參數化既保證了Φ矩陣的空心性，又保證了單調性。

2.平均場推理作為單調DEQ

• 接下來，我們把平均場推理和單調DEQ聯系起來。平均場推理是為了近似條件分布，我們發現，在一定條件下，這個平均場固定點可以看作是一個類似DEQ的固定點。這就像找到了兩個不同領域之間的橋梁，讓我們可以更好地理解和處理模型。
• 而且，我們還證明了在特定條件下，對于任何輸入，都存在一個獨特的、全局最優的平均場分布的固定點。

3.實際建模考慮

• 在實際中，當我們用mDBM來建模時，需要考慮很多細節。比如變量可能代表深度學習架構中的隱藏單元，我們不能直接表示矩陣A，而是要找到一種方法來計算與A相關的乘法。
• 我們通常會把隱藏單元分成不同的集合，通過卷積層等方式來參數化A。這樣可以處理各種復雜的網絡結構，比如卷積、全連接層和跳躍連接等。

4.高效并行求解平均場固定點

• 雖然我們保證了單調性，但是簡單的迭代不一定能收斂到我們想要的解。所以我們需要使用阻尼迭代。
• 這個阻尼迭代可以在網絡的所有變量上并行進行，不需要像傳統的平均場推理那樣使用坐標下降方法。但是計算這個阻尼迭代中的近鄰算子并不容易，我們通過一系列的定理和方法來解決這個問題，包括找到一種數值穩定的計算方法。

圖2：一種可能的深度卷積玻爾茲曼機的示意圖，其中單調性結構仍然可以被強制實施

三、訓練mDBM的技巧

1.損失函數的選擇

• 在訓練mDBM時，我們要選擇合適的方法。概率模型通常通過近似似然最大化來訓練，但是對于我們的mDBM，直接使用平均場近似來訓練參數可能不是最好的方法。
• 我們發現，基于邊際的損失函數是一個更好的選擇。就像給模型一個明確的目標，讓它朝著正確的方向學習。

2.具體訓練過程

• 給定一個樣本，我們首先要解決平均場推理問題，找到隱藏狀態的估計值。然后我們可以計算預測值和真實值之間的損失函數，通過這個損失函數來更新模型的參數。
• 在計算梯度時，我們要注意一些細節，比如通過隱函數定理來處理一些復雜的導數關系。而且，由于單調性約束，我們可能還需要對輸出邊際進行一些處理，比如使用一個可學習的溫度參數來調整。

四、實驗評估：mDBM的實力展示

1.在MNIST數據集上的表現

• 我們在MNIST數據集上測試了mDBM。我們進行了聯合像素插補和分類任務，隨機掩蓋一部分像素，然后讓模型預測缺失的像素和圖像的類別。
• 結果顯示，mDBM的測試分類準確率達到了92.95%，而傳統的深RBM只有64.23%。而且從像素插補的效果來看，mDBM也遠遠優于RBM。我們還比較了不同比例像素被掩蓋時的情況，mDBM在各種情況下都表現出了優勢。
• 我們還測試了mDBM在一些特殊任務上的表現，比如隨機掩蓋14X14的補丁，mDBM也能很好地收斂和預測。

2.在CIFAR - 10數據集上的表現

• 在CIFAR - 10數據集上，我們同樣進行了圖像像素插補和標簽預測任務。當50%的像素被觀察時，mDBM模型獲得了58%的測試準確率，并且能夠有效地插補缺失的像素。
• 與深RBM相比，mDBM在插補誤差等方面也表現出了優勢。

3.與其他推理方法的比較

• 我們還比較了mDBM的平均場推理方法與其他一些方法，比如Kr?henbühl和Koltun以及Baqué等人提出的方法。
• 實驗結果顯示，我們的方法在收斂速度上更快，而且能夠保證收斂到真正的平均場固定點，而其他方法可能存在不收斂或者收斂到錯誤的固定點的問題。

圖3：使用mDBM和深度RBM對CIFAR - 10進行像素填充

圖4：僅將上半部分展示給模型時，使用mDBM對MNIST和CIFAR10進行像素填充。左：觀測圖像；中：填充結果；右：原始圖像。

五、未來方向：探索更多可能

1.單調性條件的改進

目前定理3.1中的單調性條件只是充分條件，不是必要條件。如果我們能改進這個條件，可能會讓我們的模型更加靈活和強大。

2.模型的單調性調整

我們可以思考是否可以使用一個負的參數m來讓模型“有界非單調”，同時還能保持良好的收斂性質。

3.聯合概率建模

我們的模型目前只學習條件概率，是否可以讓它更高效地學習聯合概率呢?這是一個值得探索的方向。

4.模型的擴展和優化

雖然我們已經有了一個比較高效的實現，但是與一些常見的非線性函數相比，還是比較慢。我們需要找到一種方法來更高效地擴展mDBM。

5.其他概率模型與DEQ框架的聯系

我們可以探索更多的概率模型是否也可以在DEQ框架內表達，就像發現更多的寶藏等待我們去挖掘。

六、結論

在這篇文章中，我們介紹了單調深Boltzmann機器（mDBM）。它是一種很有潛力的深度學習模型，通過獨特的參數化和推理方法，在處理圖像數據等任務上表現出了很好的性能。我們還討論了它的訓練方法和未來的發展方向。希望這個新的模型能在深度學習的領域中開辟出一片新的天地，讓我們更好地理解和處理數據。

本文轉載自公眾號AIGC最前線   作者：實習小畢

原文鏈接：??https://mp.weixin.qq.com/s/RF6TeDxJIA0YXRCqz2QX-g??