文章鏈接：https://arxiv.org/pdf/2408.16768
在線demo: https://huggingface.co/spaces/ZiyuG/SAM2Point
code鏈接：https://github.com/ZiyuGuo99/SAM2Point

亮點(diǎn)直擊

1. 無投影 3D 分割：SAM2POINT 通過將 3D 數(shù)據(jù)體素化為視頻格式，避免了復(fù)雜的 2D-3D 投影，實(shí)現(xiàn)了高效的零樣本 3D 分割，同時(shí)保留了豐富的空間信息。
2. 多樣的提示支持：該方法支持 3D 點(diǎn)、3D框和mask三種提示類型，實(shí)現(xiàn)了靈活的交互式分割，增強(qiáng)了 3D 分割的精確度和適應(yīng)性。
3. 強(qiáng)大的泛化能力：SAM2POINT 在多種 3D 場景中表現(xiàn)出優(yōu)越的泛化能力，包括單個(gè)物體、室內(nèi)場景、室外場景和原始 LiDAR 數(shù)據(jù)，顯示了良好的跨領(lǐng)域轉(zhuǎn)移能力。

今天和小伙伴們一起學(xué)習(xí)的是SAM2POINT，這是一種初步探索，是將 Segment Anything Model 2 (SAM 2) 適配于零樣本和可提示的3D分割。SAM2POINT 將任何 3D 數(shù)據(jù)解釋為一系列多方向視頻，并利用 SAM2 進(jìn)行3D空間分割，無需進(jìn)一步訓(xùn)練或 2D-3D 投影。框架支持多種提示類型，包括 3D 點(diǎn)、3D框和mask，并且可以在各種場景中進(jìn)行泛化，例如 3D 單個(gè)物體、室內(nèi)場景、室外場景和原始 LiDAR。在多個(gè) 3D 數(shù)據(jù)集上的演示，如 Objaverse、S3DIS、ScanNet、Semantic3D 和 KITTI，突出了 SAM2POINT 的強(qiáng)大泛化能力。本方法展示了 SAM 在 3D 中的最忠實(shí)實(shí)現(xiàn)，這可能成為未來可提示 3D 分割研究的起點(diǎn)。

效果展示

下圖 3到圖7 展示了 SAM2POINT 在使用不同 3D 提示對不同數(shù)據(jù)集進(jìn)行 3D 數(shù)據(jù)分割的演示。

SAM2Point的3D物體的多方向視頻：

SAM2Point的3D室內(nèi)場景多方向視頻：

SAM2Point的3D室外場景多方向視頻：

SAM2Point的3D原始激光雷達(dá)的多方向視頻：

SAM2POINT

SAM2POINT 的詳細(xì)方法如下圖 2 所示。下面介紹了 SAM2POINT 如何高效地將 3D 數(shù)據(jù)格式化以兼容 SAM 2，從而避免復(fù)雜的投影過程。接下來，以及詳細(xì)說明了支持的三種 3D 提示類型及其相關(guān)的分割技術(shù)。最后，展示了 SAM2POINT 有效解決的四種具有挑戰(zhàn)性的 3D 場景。

3D 數(shù)據(jù)作為視頻

任意 3D 場景

憑借簡潔的框架設(shè)計(jì)，SAM2POINT 在各種領(lǐng)域中表現(xiàn)出優(yōu)越的零樣本泛化能力，從對象到場景、從室內(nèi)到室外場景。在下文中詳細(xì)闡述了四種不同的 3D 場景：

• 3D 單個(gè)物體，如 Objaverse，具有多種類別，具有不同實(shí)例的獨(dú)特特征，包括顏色、形狀和幾何結(jié)構(gòu)。對象的相鄰組件可能會(huì)重疊、遮擋或融合，這要求模型準(zhǔn)確識別細(xì)微差別以進(jìn)行部分分割。
• 室內(nèi)場景，如 S3DIS和 ScanNet，通常具有多個(gè)在封閉空間內(nèi)（如房間）排列的對象。復(fù)雜的空間布局、外觀相似性和對象間的不同方向給模型從背景中分割這些對象帶來挑戰(zhàn)。
• 室外場景，如 Semantic3D，與室內(nèi)場景不同，主要由于對象的大小對比明顯（建筑物、車輛和人）和點(diǎn)云的尺度更大（從一個(gè)房間到整個(gè)街道）。這些變化使得在全球尺度或細(xì)粒度水平上分割對象變得復(fù)雜。
• 原始 LiDAR，如 KITTI在自動(dòng)駕駛中，與典型點(diǎn)云不同，其分布稀疏且缺乏 RGB 信息。稀疏性要求模型推斷缺失的語義以理解場景，且缺乏顏色迫使模型僅依靠幾何線索區(qū)分對象。在 SAM2POINT 中，直接通過 LiDAR 強(qiáng)度設(shè)置 3D 體素的 RGB 值。

總結(jié)展望

SAM2Point，利用 Segment Anything 2 (SAM 2) 實(shí)現(xiàn) 3D 分割，采用零樣本和可提示框架。通過將 3D 數(shù)據(jù)表示為多方向視頻，SAM2POINT 支持多種類型的用戶提供的提示（3D 點(diǎn)、框和mask），并在多種 3D 場景（3D 單個(gè)物體、室內(nèi)場景、室外場景和原始稀疏 LiDAR）中展示了強(qiáng)大的泛化能力。作為初步探索，SAM2POINT 提供了關(guān)于將 SAM 2 適配于有效和高效的 3D 理解的獨(dú)特見解。希望本文的方法能夠作為可提示 3D 分割的基礎(chǔ)基準(zhǔn)，鼓勵(lì)進(jìn)一步研究以充分發(fā)揮 SAM 2 在 3D 領(lǐng)域的潛力。

本文轉(zhuǎn)自 AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/TnTK5UE7O_hcrNzloxBmAw??