多任務實現SOTA，UBC谷歌等提出3D點云的無監督膠囊網絡

作者：杜偉、小舟 2020-12-16 16:21:06

近日，包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等來自英屬哥倫比亞大學、谷歌研究院、多倫多大學的研究者提出了用于 3D 點云的無監督膠囊網絡。

這是一種為 3D 點云提出的無監督膠囊架構，并且在 3D 點云重構、配準和無監督分類方面優于 SOTA 方法。

理解對象是計算機視覺的核心問題之一。傳統方法而言，理解對象任務可以依賴于大型帶注釋的數據集，而無監督方法已經消除了對標簽的需求。近來，研究人員試圖將這些方法擴展到 3D 點云問題上，但無監督 3D 學習領域卻進展寥寥。

近日，包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等來自英屬哥倫比亞大學、谷歌研究院、多倫多大學的研究者提出了用于 3D 點云的無監督膠囊網絡。Hinton 對此表示：在不受監督的情況下找到一個對象的自然組件以及這些組件的內在參照系是學習將解析圖像轉換為局部整體層級結構的重要一步。如果以點云開始，則可以做到。

具體而言，研究者通過排列等變（permutation-equivariant）的注意力計算對象的膠囊分解，并通過訓練成對的隨機旋轉對象來自監督該過程。本研究的核心思想是將注意力掩模聚合為語義關鍵點，并使用它們來監督滿足膠囊不變性或等方差的分解。這不僅可以訓練語義上一致的分解，還能夠學習以對象為中心的推理的規范化操作。在這種情況下，既不需要分類標簽，也不需要手動對齊的訓練數據集進行訓練。

最后，通過以無監督的方式學習以對象為中心的表征，該方法在 3D 點云重構、配準和無監督分類方面優于 SOTA 方法。研究者表示將很快公布源代碼和數據集。

論文鏈接：https://arxiv.org/abs/2012.04718

項目主頁：https://canonical-capsules.github.io/

方法

該網絡在未對齊的點云上進行訓練，如下圖 2 所示：研究者訓練了一個將點云分解為多個組件的網絡，并通過 Siamese 訓練設置實現不變性 / 等方差。

然后研究者將點云規范化為學習的參照系，并在該坐標空間中執行自動編碼。

損失

正如無監督方法中常見的那樣，該研究的框架依賴于大量的損失，這些損失控制著力圖在表征中獲得的不同特征。請注意所有這些損失是如何不受監督且不需要標簽的。研究者根據他們監督的網絡部分組織損失，包括分解、規范化和重建。

網絡架構

研究者簡要介紹了實現細節，包括網絡架構。

編碼器 E。我們的架構是基于 [42] 提出一種類似于點網的架構，具有殘差連接和注意力上下文歸一化；
解碼器 D。公式 (4) 中的解碼器基于每個膠囊運行。本研究采用的解碼器架構類似于 AtlasNetV2 [13]（帶有可訓練的網格）。不同之處在于本研究通過相應的膠囊姿態轉換每個膠囊的解碼點云；

回歸器 K。研究者只需連接描述符，并通過 ReLU 激活函數調用一系列全連接層，以回歸 P 膠囊定位。在輸出層，研究者使用線性激活函數，并進一步減去輸出平均值，以使回歸位置在規范化框架中以零為中心（zero-centered）；
規范化描述符。由于本研究的描述符只是近似旋轉不變（通過擴展），研究者發現在規范化之后重新提取膠囊描述符β_k 很有用。

實驗及結果

自動編碼

研究者針對兩個訓練基線（在單類別和多類別變體中經過了訓練）評估了用于訓練網絡任務（重建 / 自動編碼）的方法的性能：

AtlasNetV2 [13]，一種使用基于補丁（patch-based）多頭解碼器的 SOTA 自動編碼器；

3D-PointCapsNet [58]，一種利用膠囊架構的 3D 點云自動編碼器。

下表 1 是定量分析的結果，本文方法在對齊和未對齊的設置下均取得了 SOTA 的性能結果。