寫在前面 & 筆者的個(gè)人理解

交互式分割在促進(jìn)未來(lái)LiDAR數(shù)據(jù)集的注釋過(guò)程中起著重要作用。現(xiàn)有的方法在每次激光雷達(dá)掃描時(shí)順序分割單個(gè)物體，在整個(gè)序列中重復(fù)這一過(guò)程，這是多余且無(wú)效的。在這項(xiàng)工作中，我們提出了交互式4D分割，這是一種新的范式，允許同時(shí)分割多個(gè)LiDAR掃描上的多個(gè)目標(biāo)，以及交互式4D，這是第一個(gè)交互式4D分割模型，通過(guò)利用LiDAR數(shù)據(jù)的順序特性，在一次迭代中分割疊加的連續(xù)LiDAR打印上的多目標(biāo)。在執(zhí)行交互式分割時(shí)，我們的模型利用了整個(gè)時(shí)空體積，從而實(shí)現(xiàn)了更高效的分割。在4D卷上操作時(shí)，它可以隨時(shí)間直接提供一致的實(shí)例ID，并簡(jiǎn)化跟蹤注釋。此外，我們還表明，點(diǎn)擊模擬對(duì)于在LiDAR點(diǎn)云上成功進(jìn)行模型訓(xùn)練至關(guān)重要。為此我們?cè)O(shè)計(jì)了一種更適合激光雷達(dá)數(shù)據(jù)特性的點(diǎn)擊模擬策略。為了證明其準(zhǔn)確性和有效性，我們?cè)诙鄠€(gè)LiDAR數(shù)據(jù)集上評(píng)估了Interactive4D，其中Interactive4D在很大程度上達(dá)到了新的最先進(jìn)水平。

• 開(kāi)源鏈接：https://vision.rwth-aachen.de/Interactive4D

總結(jié)來(lái)說(shuō)，本文的貢獻(xiàn)是：

• 提出了交互式4D分割，這是一種新的范式，通過(guò)利用激光雷達(dá)數(shù)據(jù)的順序特性，一次對(duì)多個(gè)掃描中的多個(gè)目標(biāo)進(jìn)行交互式分割。
• 介紹了Interactive4D，這是第一個(gè)交互式4D分割模型，能夠準(zhǔn)確分割時(shí)空點(diǎn)云上的事物和內(nèi)容，同時(shí)隨著時(shí)間的推移為跟蹤任務(wù)提供一致的實(shí)例ID。
• 設(shè)計(jì)了一種新的點(diǎn)擊模擬策略，更適合激光雷達(dá)數(shù)據(jù)的特點(diǎn)。
• 我們?cè)诙鄠€(gè)LiDAR數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，并通過(guò)與人類注釋者的用戶研究證明了Interactive4D在真實(shí)注釋案例中的有效性。

相關(guān)工作回顧

激光雷達(dá)全景分割和跟蹤。LiDAR全景分割（LPS）統(tǒng)一了LiDAR點(diǎn)云的語(yǔ)義和實(shí)例分割。最近，它已被擴(kuò)展到4D激光雷達(dá)全景分割（4D-LPS）的子任務(wù)跟蹤，該分割結(jié)合了語(yǔ)義、實(shí)例分割和跟蹤。兩種LPS方法都遵循類似的算法范式。它們之間的根本區(qū)別在于，LPS方法在單次激光雷達(dá)掃描上運(yùn)行，而4D-LPS方法主要在疊加的連續(xù)激光雷達(dá)掃描下運(yùn)行以完成跟蹤。根據(jù)它是在單次掃描還是疊加的連續(xù)掃描上運(yùn)行，假設(shè)用戶提供了預(yù)測(cè)掩模的語(yǔ)義標(biāo)簽，Interactive4D可以作為L(zhǎng)PS或4D-LPS方法。它通過(guò)整合用戶輸入來(lái)執(zhí)行分割和跟蹤，能夠通過(guò)細(xì)化點(diǎn)擊來(lái)改善結(jié)果。隨后，我們證明了Interactive4D在LPS和4D-LPS任務(wù)中以最小的用戶輸入都優(yōu)于最先進(jìn)的結(jié)果，并通過(guò)額外的用戶輸入進(jìn)一步改進(jìn)了它們。

交互式3D分割。2D交互式分割已經(jīng)建立得很好，然而，采用它來(lái)生成3D標(biāo)簽會(huì)由于視場(chǎng)、視角和校準(zhǔn)誤差的差異而導(dǎo)致不完美。為此，InterObject3D解決了室內(nèi)點(diǎn)云的交互式分割問(wèn)題，重點(diǎn)是單目標(biāo)交互式分割。后來(lái)，AGILE3D提出了室內(nèi)點(diǎn)云的多目標(biāo)交互式分割，顯著提高了效率。本文探索了LiDAR點(diǎn)云的多目標(biāo)交互式分割，并進(jìn)一步將多目標(biāo)LiDAR交互式分割擴(kuò)展到4D設(shè)置，旨在最大限度地提高效率。最近的一些工作研究了室外LiDAR點(diǎn)云的3D交互式分割。CRSNet專注于僅交互式分割物體，并遵循LiDAR數(shù)據(jù)中的單物體范式。ClickFormer是一項(xiàng)并行工作，它交互式地分割事物，并通過(guò)在掃描過(guò)程中填充額外的增強(qiáng)點(diǎn)擊來(lái)解決LiDAR數(shù)據(jù)中目標(biāo)的比例差異，同樣遵循單目標(biāo)范式。相比之下，Interactive4D旨在處理4D設(shè)置中事物的多目標(biāo)交互式LiDAR分割，通過(guò)在空間和時(shí)間上全面利用上下文來(lái)最大限度地提高效率。

詳解Interactive4D

受基于注意力的交互式分割模型成功的啟發(fā)，我們添加了關(guān)鍵的技術(shù)修改，以實(shí)現(xiàn)此類模型在LiDAR點(diǎn)云中的全部潛力，并引入了交互式4D，我們的交互式4D分割模型，如圖2所示。為了清楚起見(jiàn)，我們使用矩陣表示法來(lái)呈現(xiàn)整個(gè)過(guò)程。

細(xì)化：該模塊由L個(gè)連續(xù)的點(diǎn)擊關(guān)注層組成，這些層細(xì)化了點(diǎn)擊查詢Q和體素特征F。在每一層中，Q通過(guò)交叉注意力來(lái)關(guān)注F。然后，Q使用self-att。最后，F(xiàn)交叉注意Q以細(xì)化特征表示。這種漸進(jìn)式的改進(jìn)在L層中重復(fù)進(jìn)行，從而得到最終的Q和F。

訓(xùn)練損失如下所示：

單擊“模擬策略”。（圖2）交互式分割模型依賴于標(biāo)注輸入來(lái)迭代改進(jìn)預(yù)測(cè)，但在訓(xùn)練過(guò)程中讓人類參與是不切實(shí)際的。相反，合成點(diǎn)擊是基于預(yù)測(cè)和GT進(jìn)行模擬的。仿真策略應(yīng)該：（1）將模型的學(xué)習(xí)集中在誤差區(qū)域，以減少交互來(lái)提高準(zhǔn)確性，以及（2）盡量減少訓(xùn)練和實(shí)際使用之間的差距。交互式3D分割模型中采用了兩種主要類型的點(diǎn)擊模擬。受2D模擬的啟發(fā)，在密集數(shù)據(jù)下運(yùn)行的模型采用了邊界相關(guān)（BD）點(diǎn)擊策略。該方法使用以下度量選擇離邊界最遠(yuǎn)的點(diǎn)：

近期的方法通過(guò)采用完全隨機(jī)點(diǎn)擊來(lái)緩解這個(gè)問(wèn)題，大大減少了所需的計(jì)算。然而，這兩種方法仍然存在兩個(gè)關(guān)鍵局限性：（1）偏向較大目標(biāo)：在多目標(biāo)交互式分割中，必須首先識(shí)別錯(cuò)誤區(qū)域，因?yàn)殄e(cuò)誤可能存在于各種目標(biāo)中。BD選擇通過(guò)用max操作切換等式（iv）中的arg-max來(lái)隱式地確定區(qū)域的誤差大小。這種方法傾向于將點(diǎn)擊偏向于較大的物體（例如建筑物），而忽略較小的物體（如自行車）（圖3左）。同樣的問(wèn)題也適用于隨機(jī)點(diǎn)擊策略，因?yàn)殡S機(jī)分布自然會(huì)忽略較小的目標(biāo)，使其在訓(xùn)練過(guò)程中代表性不足。（2） 非信息性初始點(diǎn)擊：在密集數(shù)據(jù)中，選擇離邊界最遠(yuǎn)的點(diǎn)是有效的，因?yàn)樗ǔ?huì)捕獲錯(cuò)誤區(qū)域的“中心”。然而，在稀疏的LiDAR點(diǎn)云中，由于周圍的空白空間，這通常會(huì)導(dǎo)致錯(cuò)誤區(qū)域邊緣附近的點(diǎn)擊錯(cuò)誤（圖3右）。這是因?yàn)檎`差區(qū)域外的點(diǎn)決定了邊界。完全隨機(jī)點(diǎn)擊也面臨著類似的問(wèn)題，因?yàn)檫x擇不是集中在特定的錯(cuò)誤區(qū)域，而是不加選擇地針對(duì)整個(gè)錯(cuò)誤集。

為了解決上述缺點(diǎn)，我們提出了一種新的點(diǎn)擊選擇策略，將該過(guò)程分為兩個(gè)單獨(dú)的步驟：（1）尺度不變誤差區(qū)域選擇（SI）：為了應(yīng)對(duì)較大目標(biāo)的過(guò)度優(yōu)先級(jí)，我們提出一種基于IoU的度量來(lái)確定最大誤差區(qū)域，確保尺度不變性：

這種方法優(yōu)先考慮覆蓋目標(biāo)大部分的錯(cuò)誤區(qū)域，特別是那些IoU較低的區(qū)域，以防止較小的目標(biāo)被忽視。這使得訓(xùn)練過(guò)程中的點(diǎn)擊分布更加平衡，使模型能夠?qū)W習(xí)更全面的特征表示。（2）錯(cuò)誤區(qū)域內(nèi)的增強(qiáng)點(diǎn)擊選擇：與之前依賴數(shù)據(jù)庫(kù)的工作類似，我們的目標(biāo)是為初始點(diǎn)擊選擇地面真實(shí)掩模的“中心”，因?yàn)檫@通常會(huì)捕捉到區(qū)域的關(guān)鍵特征。為了確保在稀疏域中進(jìn)行信息選擇，我們將中心定義為最接近目標(biāo)質(zhì)心的點(diǎn)，通常在實(shí)體分割開(kāi)始時(shí)捕獲最具代表性的區(qū)域。然而，對(duì)于細(xì)化點(diǎn)擊——誤差區(qū)域在點(diǎn)云中變得很小且分散——質(zhì)心選擇的有效性降低，真實(shí)用戶很難遵循。為了解決這個(gè)問(wèn)題，我們建議在誤差區(qū)域內(nèi)切換到隨機(jī)點(diǎn)選擇以進(jìn)行細(xì)化點(diǎn)擊。與[15,46]不同，我們只在識(shí)別出錯(cuò)誤區(qū)域后才執(zhí)行隨機(jī)選擇。隨機(jī)性的注入通過(guò)學(xué)習(xí)不同的特征使模型對(duì)用戶行為更加魯棒。

我們的方法簡(jiǎn)化并解耦了決策過(guò)程。由于在訓(xùn)練過(guò)程中多次調(diào)用點(diǎn)擊模擬器，它加速了訓(xùn)練并顯著降低了內(nèi)存需求。與限制目標(biāo)數(shù)量或只關(guān)注事物以管理計(jì)算成本的方法不同，我們的方法避免了這些權(quán)衡。這實(shí)現(xiàn)了更快的訓(xùn)練、整體分割和4D數(shù)據(jù)的可擴(kuò)展性，其中點(diǎn)的數(shù)量顯著增加。圖3顯示了我們提出的策略修改的總體效果。

實(shí)驗(yàn)結(jié)果

結(jié)論

本文引入了交互式4D分割，這是一種新的范式，用戶可以在多個(gè)掃描中同時(shí)分割多個(gè)目標(biāo)，以及交互式4D，這是遵循這一范式的第一種交互式4D分割方法。交互式4D比以前的方法更有效，僅限于單個(gè)目標(biāo)和單個(gè)掃描。除了我們適用于稀疏LiDAR掃描的新點(diǎn)擊模擬策略外，它還顯示了出色的精度結(jié)果，并大幅達(dá)到了最先進(jìn)的性能。我們希望Interactive4D能夠減少未來(lái)LiDAR數(shù)據(jù)集所需的標(biāo)注工作。