本論文的第一作者朱欽峰是西交利物浦大學和利物浦大學聯合培養(yǎng)的一年級在讀博士，其導師為范磊副教授。他的主要研究方向為語義分割、多模態(tài)信息融合、3D視覺、高光譜圖像和數據增強。

本文是對發(fā)表于模式識別領域頂刊Pattern Recognition 2024的最新綜述論文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解讀。

該論文由西交利物浦大學朱欽峰、范磊和翁寧馨完成。

這篇綜述首次全面總結了點云數據增強的相關研究工作。

深度學習已成為點云分析任務（如檢測、分割和分類）的主流和有效方法之一。為了減少在訓練深度學習模型過程中的過擬合，特別是在訓練數據量或多樣性有限的情況下提高模型性能，數據增強通常是關鍵。盡管各種點云數據增強方法已在不同的點云處理任務中廣泛應用，但目前尚未發(fā)布這些方法的系統性綜述或討論。

因此，本文對這些方法進行了調研，將其分類到一個包含基礎和特定點云數據增強方法的分類框架中。通過對這些增強方法的全面評估，本文確定了它們的潛力和局限性，為選擇合適的增強方法提供了有用的參考。

此外，本文還探討了未來研究的潛在方向。本調研有助于提供點云數據增強當前研究的全面概覽，促進其更廣泛的應用和發(fā)展。

Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM

arXiv：https://arxiv.org/pdf/2308.12113

作者主頁：https://zhuqinfeng1999.github.io/

圖1.點云數據增強方法的分類。

點云數據增強

在深度學習領域，當可用的訓練數據集有限時，數據增強常被使用。這涉及執(zhí)行一系列特定的操作來修改或擴展原始數據，從而增加數據集的數量和多樣性。

由于優(yōu)質的增強數據集有助于提高網絡的魯棒性、增強泛化能力并減少過擬合，因此在訓練深度學習網絡時，數據增強幾乎總是被視為理想的選擇。在圖像數據增強和文本數據增強領域，已經觀察到了全面的發(fā)展。

在眾多近期發(fā)表的關于點云處理任務的研究論文中，研究人員探索了各種增強點云數據的方法。這些方法的廣泛范圍為研究者在選擇合適的方法時帶來了挑戰(zhàn)。因此，系統地調查這些方法并將它們分類成不同組別具有重要價值。

本文呈現了一個關于點云數據增強方法的全面調查。

基于我們的調查，我們提出了一個這些增強方法的分類體系，如圖1所示。

增強方法可以被分為兩個主要類別：基礎點云增強和特定點云增強，這與圖像增強的典型分類方法相似。

基礎點云增強指的是那些概念簡單且在不同任務和應用環(huán)境中具有普適性的方法，這一點通過它們在調查文獻中與其他方法的廣泛結合使用得到了證明。

特定點云增強則指通常為解決特定挑戰(zhàn)或應對特定應用環(huán)境而開發(fā)的方法。在大多數情況下，特定點云增強在計算上比基礎增強更為復雜，這取決于增強方法的實現細節(jié)。我們提出的分類體系中的子類別代表了文獻中已用于點云數據增強的各種方法的總結，或具有潛力被用于點云數據增強的方法。

該綜述的主要貢獻如下：

• 這是第一篇全面調查點云數據增強方法的綜述，涵蓋了點云數據增強的最新進展。根據增強操作的特質，我們提出了一個點云數據增強方法的分類體系。
• 本研究總結了各種點云數據增強方法，討論了它們在典型的點云處理任務（如檢測、分割和分類）中的應用，并為未來的潛在研究提供了建議。

基礎點云增強

仿射變換涉及到仿射空間的變換，它保留了共線性和距離比例。在圖像數據增強中，常用的仿射變換方法包括縮放、平移、旋轉、翻轉和剪切。同樣地，仿射變換也可以應用于點云數據增強。典型的方法包括平移、旋轉、翻轉和縮放，并且這些方法已被廣泛用于生成額外的新訓練數據。

這些操作可以應用于整個點云數據集，也可以使用特定策略應用于點云數據中選定的實例（實例指的是諸如圖2（a）所示的車輛這樣的語義對象），或者應用于選定實例的特定部分。

但是，通過仿射變換增強的數據可能面臨信息丟失或語義不合理的問題。這些仿射變換的具體操作及其討論詳見論文。

圖2.通過仿射變換增強點云數據的示例:(a)原始點云數據，(b)平移車輛，(c)旋轉車輛，(d)縮放車輛，(e)翻轉場景。

丟棄增強是指丟棄點云數據中的一些數據點，如圖3所示。去除點的選擇是由具體策略決定的。丟棄的點可以是整個點云數據的一部分，也可以是場景中隨機選擇的點。丟棄增強有助于深度學習模型對表示遮擋或部分可見場景的缺失或不完整數據變得更加魯棒。

它還可以防止深度學習模型過于依賴訓練數據集中的特定數據點。然而，丟失過多或關鍵的點云信息可能會導致訓練數據中對現實世界對象的不真實表示，并影響深度學習模型的訓練。基于丟棄增強的各種方法和討論詳見論文。

圖3.通過丟棄增強的點增強示例:(a)原始點云數據，(b)隨機丟棄的增強點云，(c)丟棄部分的增強點云。

抖動是指對點云中單個點的位置施加微小的擾動或噪聲，如圖4所示。基于抖動增強的各種方法和討論詳見論文。

圖4.抖動增強示例:(a)原始點云數據，(b)抖動增強的點云數據。

在場景級的點云數據集中，例如戶外自動駕駛場景，標注的實例通常是有限的。在這種情況下，GT-sampling成為一種簡單而有效的數據增強方法。

GT-sampling是指將帶有標簽的實例添加到訓練數據集中的操作，如圖5所示，標記的GT實例來自同一訓練數據集或其他數據集。GT-sampling通常適用于場景級點云數據集，而通常不考慮實例級點云數據集，如ShapeNet。基于GT-sampling增強的各種方法和討論詳見論文。

圖5.(a)語義合理的GT-sampling，添加的車輛在紅框中。(b) 語義不合理的GT-sampling，一輛車在建筑物墻體內，另一輛在樹木中。

除此以外，本文還介紹了應用于基礎點云數據增強方法的策略，如Patch-based策略，和自動優(yōu)化策略（見圖6）。本文對典型的基礎點云增強方法進行了匯總，如表1所示。

圖6.自動優(yōu)化的常見過程。

表1.代表性基礎點云增強方法。

特定點云增強

特定點云增強方法通常旨在解決特定的挑戰(zhàn)或應用場景。特定點云增強包括：Mixup增強，域增強，對抗性變形增強，上采樣增強，補全增強，生成增強，多模態(tài)增強和其他。

這些特定增強方法的具體定義以及討論詳見文中。表2概述了具有代表性的特定增強方法的發(fā)展，提供了各種信息。

表2.代表性特定點云增強方法。

需要注意的是，目前一些對抗性變形、上采樣、補全和生成技術并沒有直接應用到點云數據增強中，如表3所示。為了對特定方法進行全面的分類，本文還包括了這些潛在的方法并對其進行了討論。

表3.潛在的特定點云增強方法。

討論

論文中對點云數據增強方法的適用任務以及場景進行了詳細的討論，并指出了點云數據增強在一致性學習中的作用，如圖7所示。

圖7.(a)常規(guī)的深度學習訓練，將原始數據和增強數據發(fā)送到深度學習網絡進行訓練，得到訓練后的模型;(b)一致性學習，通過各種增強方法對輸入點云數據進行變換，生成多個增強變量，然后將其饋送到多個網絡進行一致性學習，在訓練期間做出一致的預測。

表4對進行數據增強前后進行定量評估的文獻進行了整理，展示了數據增強的效果。作為比較各種增強方法的另一部分，附錄中（詳見論文）還概述了使用增強點云數據的下游任務的定量性能，以及這些任務中采用的增強方法。

表4.點云數據增強對于增強模型表現的匯報結果。

未來工作

研究團隊針對該領域，指出了進一步研究的九點可能的方向：

• 研究人員沒有充分研究進行點云數據增強的對抗性變形、上采樣、補全和生成。鑒于GAN和擴散模型的進步，這些模型可用于生成現實和多樣化的點云實例。未來的研究應該在特定點云處理任務的基準數據集上評估這些方法，以評估它們作為增強技術的有效性。
  
  
• 目前，很少有研究針對不同的點云處理任務，使用一致的基線網絡和數據集來評估點云數據增強方法的性能。這樣的評估將增強我們對不同增強方法性能的理解。因此，未來的研究工作可能側重于建立新的方法、指標和/或數據集，以評估點云數據增強方法的有效性及其對深度學習模型性能的影響。
  
  
• 當應用于大規(guī)模點云數據集時，某些特定增強方法可能會導致計算成本高昂。未來的工作可以集中在開發(fā)有效的算法，在計算成本和增強效率之間進行權衡。此外，一些特定點云增強方法相對復雜，難以復現。建議開發(fā)即插即用方法，促進其廣泛采用。
  
  
• 對于點云數據增強，缺乏普遍接受的基本增強操作組合。因此，未來的工作需要建立一個標準協議，在不犧牲增強效率的情況下，為不同的應用領域、任務和/或數據集選擇增強操作。
  
  
• 通過增強生成的多個點云變體會影響一致性學習的有效性。目前，據我們所知，一致性學習中只使用了基本的增強方法。探索特定點云增強方法，如對抗變形和生成增強，為提高一致性學習的有效性提供了一種有趣的方法，被認為是一個有價值的未來研究方向。
  
  
• 目前，將基礎點云增強方法與特定點云增強方法相結合的研究有限。這樣的組合有可能進一步增加數據增強的多功能性，值得未來的研究。
  
  
• 增強需要真實地模擬點云數據的變化，如物體大小、位置、方向、外觀和環(huán)境的變化，以確保模擬數據與現實世界的情況保持一致，并保持語義正確。未來的研究可以著眼于標準化各種增強范圍，以適應特定的應用場景。
  
  
• 某些應用，如目標檢測，可能涉及場景中的動態(tài)物體。在動態(tài)環(huán)境中捕獲的點云可能需要考慮物體時間變化的特定增強策略。例如，可以設計運動物體的特定軌跡，這可以通過一組組合增強操作來實現，例如平移，旋轉和丟棄。
  
  
• ViT在簡單組合基本操作的情況下，在分割和分類任務上也取得了較強的性能。當與最先進的ViT作為骨干網絡集成時，探索增強方法的性能將是有意義的。