本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

理想提出3DRealCar，這是第一個(gè)大規(guī)模 3D 實(shí)車(chē)數(shù)據(jù)集，包含 2500 輛在真實(shí)場(chǎng)景中拍攝的汽車(chē)。3DRealCar的目標(biāo)是可以成為促進(jìn)汽車(chē)相關(guān)任務(wù)的寶貴資源。3DRealcar包含各種顏色、汽車(chē)類(lèi)型、品牌的詳細(xì)注釋?zhuān)踔疗?chē)解析圖。特別是，數(shù)據(jù)集包含三種汽車(chē)表面的照明條件，并對(duì)現(xiàn)有方法提出了挑戰(zhàn)。

3D汽車(chē)常用于自動(dòng)駕駛系統(tǒng)、虛擬/增強(qiáng)現(xiàn)實(shí)和游戲。然而，現(xiàn)有的3D汽車(chē)數(shù)據(jù)集要么是合成的，要么質(zhì)量較差，與高質(zhì)量的真實(shí)世界3D汽車(chē)數(shù)據(jù)集存在很大差距，限制了它們?cè)趯?shí)際場(chǎng)景中的應(yīng)用。

3DRealCar是第一個(gè)大規(guī)模 3D 實(shí)車(chē)數(shù)據(jù)集，它具有三個(gè)獨(dú)特功能。（1）高容量：2,500 輛汽車(chē)經(jīng)過(guò) 3D 掃描儀的精心掃描，獲得具有真實(shí)世界尺寸的汽車(chē)圖像和點(diǎn)云；（2）高質(zhì)量：每輛汽車(chē)平均在 200 個(gè)密集的高分辨率 360 度 RGB-D 視圖中捕獲，從而實(shí)現(xiàn)高保真 3D 重建；（3）高多樣性：該數(shù)據(jù)集包含來(lái)自 100 多個(gè)品牌的各種汽車(chē)，在三種不同的照明條件下收集，包括反光、標(biāo)準(zhǔn)和黑暗。此外，為每個(gè)實(shí)例提供詳細(xì)的汽車(chē)解析圖，以促進(jìn)汽車(chē)解析任務(wù)的研究。

相關(guān)鏈接

論文地址：https://arxiv.org/abs/2406.04875

項(xiàng)目主頁(yè)：xiaobiaodu.github.io/3drealcar

分布

我們的數(shù)據(jù)集主要包含六種不同的車(chē)型。我們還統(tǒng)計(jì)了汽車(chē)在各種光照條件下的表現(xiàn)。標(biāo)準(zhǔn)條件意味著汽車(chē)光照充足，沒(méi)有強(qiáng)烈的鏡面高光。反射條件意味著汽車(chē)有鏡面高光。光澤材料給最近的 3D 重建方法帶來(lái)了巨大的挑戰(zhàn)。黑暗條件意味著汽車(chē)是在地下停車(chē)場(chǎng)拍攝的，光照不太好。每輛車(chē)拍攝的圖像數(shù)量平均為 200 張。視圖數(shù)量從 50 到 400 不等。我們的數(shù)據(jù)集包含二十多種顏色，但白色和黑色仍然占據(jù)了數(shù)據(jù)集的大部分。此外，我們還展示了汽車(chē)尺寸的分布，包括長(zhǎng)度、寬度和高度。

支持的任務(wù)

由于我們的數(shù)據(jù)集提供了 RGB-D 圖像、點(diǎn)云、汽車(chē)解析地圖和詳細(xì)注釋?zhuān)覀兛梢栽谄渲袌?zhí)行各種 2D 和 3D 任務(wù)。具體來(lái)說(shuō)，我們提供汽車(chē)解析地圖，表明我們的數(shù)據(jù)集可用于汽車(chē)檢測(cè)、分割和解析任務(wù)。此外，我們捕獲的 RGB-D 圖像支持深度估計(jì)任務(wù)。由于我們收集了外觀各異的各種車(chē)型，研究人員可以使用我們的數(shù)據(jù)集進(jìn)行不同車(chē)型的領(lǐng)域遷移學(xué)習(xí)。對(duì)于 3D 任務(wù)，我們捕獲的密集視圖和點(diǎn)云可用于 3D 重建、3D 生成、新穎視圖合成、車(chē)輛點(diǎn)云完成和車(chē)輛點(diǎn)云解析。利用重建的 3D 汽車(chē)，我們可以使用它們來(lái)模擬極端情況，以訓(xùn)練強(qiáng)大的自動(dòng)駕駛感知系統(tǒng)。

3DRealCar數(shù)據(jù)集的分布。我們展示了汽車(chē)類(lèi)型的分布，照明條件、捕獲的視圖、汽車(chē)顏色和汽車(chē)大小。我們盡力捕捉各種各樣的汽車(chē)顏色和類(lèi)型的多樣性，我們的數(shù)據(jù)集。

3D 汽車(chē)解析

我們的數(shù)據(jù)集是第一個(gè)提供 3D 汽車(chē)解析注釋的數(shù)據(jù)集，用于解析 3D 空間中的汽車(chē)組件。由于我們?yōu)?3DRealCar 數(shù)據(jù)集中的每個(gè)實(shí)例提供了 2D 汽車(chē)解析圖，我們可以將 2D 解析圖提升到 3D，并將每個(gè)組件分割為點(diǎn)云和網(wǎng)格。這些 3D 汽車(chē)解析圖的主要目的是實(shí)現(xiàn)對(duì)車(chē)輛結(jié)構(gòu)的精確和全面分析，這對(duì)于自動(dòng)駕駛、車(chē)輛設(shè)計(jì)、車(chē)輛編輯和虛擬現(xiàn)實(shí)模擬等應(yīng)用至關(guān)重要。通過(guò)使用這些詳細(xì)的 3D 解析圖，開(kāi)發(fā)人員和研究人員可以改進(jìn)對(duì)象識(shí)別算法并增強(qiáng)碰撞檢測(cè)系統(tǒng)。此外，該數(shù)據(jù)集有助于訓(xùn)練機(jī)器學(xué)習(xí)模型，以更好地理解汽車(chē)部件的空間關(guān)系和物理屬性，從而實(shí)現(xiàn)更先進(jìn)、更可靠的汽車(chē)技術(shù)。

論文閱讀

3DRealCar:一個(gè)野外RGB-D汽車(chē)數(shù)據(jù)集360度視圖

摘要

3D 汽車(chē)通常用于自動(dòng)駕駛系統(tǒng)、虛擬/增強(qiáng)現(xiàn)實(shí)和游戲。然而，現(xiàn)有的 3D 汽車(chē)數(shù)據(jù)集要么是合成的，要么是低質(zhì)量的，與高質(zhì)量的真實(shí)世界 3D 汽車(chē)數(shù)據(jù)集存在很大差距，限制了它們?cè)趯?shí)際場(chǎng)景中的應(yīng)用。在本文中，我們提出了第一個(gè)大規(guī)模 3D 真實(shí)汽車(chē)數(shù)據(jù)集，稱(chēng)為 3DRealCar，它具有三個(gè)獨(dú)特的特點(diǎn)。

• 高容量：2,500 輛汽車(chē)經(jīng)過(guò) 3D 掃描儀的精心掃描，獲得具有真實(shí)世界尺寸的汽車(chē)圖像和點(diǎn)云；
• 高質(zhì)量：每輛汽車(chē)平均在 200 個(gè)密集的高分辨率 360 度 RGB-D 視圖中捕獲，從而實(shí)現(xiàn)高保真 3D 重建；
• 高多樣性：數(shù)據(jù)集包含來(lái)自 100 多個(gè)品牌的各種汽車(chē)，在三種不同的光照條件下收集，包括反光、標(biāo)準(zhǔn)和黑暗。

此外，我們?yōu)槊總€(gè)實(shí)例提供了詳細(xì)的汽車(chē)解析圖，以促進(jìn)汽車(chē)解析任務(wù)的研究。此外，我們刪除背景點(diǎn)云并將汽車(chē)方向標(biāo)準(zhǔn)化為統(tǒng)一軸，僅在沒(méi)有背景和可控渲染的汽車(chē)上進(jìn)行重建。我們?cè)?3DRealCar 中的每個(gè)照明條件下使用最先進(jìn)的方法對(duì) 3D 重建結(jié)果進(jìn)行基準(zhǔn)測(cè)試。大量實(shí)驗(yàn)表明，3DRealCar 的標(biāo)準(zhǔn)照明條件部分可用于生成大量高質(zhì)量的 3D 汽車(chē)，從而改進(jìn)與汽車(chē)相關(guān)的各種 2D 和 3D 任務(wù)。值得注意的是，我們的數(shù)據(jù)集讓我們了解到，最近的 3D 重建方法在反射和暗光條件下重建高質(zhì)量 3D 汽車(chē)時(shí)面臨挑戰(zhàn)。我們的數(shù)據(jù)集可在此處獲得。

方法

數(shù)據(jù)收集和預(yù)處理。我們先繞一輛車(chē)轉(zhuǎn)三圈 同時(shí)用3D掃描儀掃描汽車(chē)以獲得RGB-D圖像及其點(diǎn)云。然后我們使用Colmap和SAM獲取姿態(tài)并去除背景點(diǎn)云。最后，我們使用經(jīng)過(guò)處理數(shù)據(jù)訓(xùn)練的3DGS來(lái)獲得3D汽車(chē)模型。

我們精心策劃的高質(zhì)量3DRealCar數(shù)據(jù)集的特征。3 drealcar包含 各種顏色、汽車(chē)類(lèi)型、品牌的詳細(xì)注釋?zhuān)踔疗?chē)解析圖。特別是，我們的 數(shù)據(jù)集包含三種汽車(chē)表面的照明條件，對(duì)現(xiàn)有方法提出了挑戰(zhàn)

效果展示

定性比較

近年來(lái)先進(jìn)圖像分割方法的定性比較。我們 從我們的圖像測(cè)試集中選擇輸入，并評(píng)估汽車(chē)部件的容量對(duì)每種方法的理解。

可視化

新視圖合成(左)和圖像到3d生成(右)的可視化。我們比較最近最先進(jìn)的方法的結(jié)果，Zero123-XL，Dreamcraft3D，和他們通過(guò)在我們的數(shù)據(jù)集上訓(xùn)練而得到的改進(jìn)。

重建結(jié)果

我們利用最新最先進(jìn)的 3D 重建方法 3DGS（高斯濺射）在我們的數(shù)據(jù)集中展示可視化效果。在標(biāo)準(zhǔn)照明條件下，3DGS 能夠從我們的數(shù)據(jù)集中重建相對(duì)高質(zhì)量的 3D 汽車(chē)。請(qǐng)注意，這種級(jí)別的重建質(zhì)量足以用于下游任務(wù)并進(jìn)行渲染。然而，在反光和黑暗條件下的結(jié)果并不理想。因此，我們的 3DRealCar 的這兩個(gè)部分給最近的 3D 方法帶來(lái)了兩個(gè)挑戰(zhàn)。

第一個(gè)挑戰(zhàn)是鏡面高光的重建，由于汽車(chē)的特殊性，汽車(chē)表面的材質(zhì)一般都是有光澤的，也就是說(shuō)汽車(chē)在陽(yáng)光或者強(qiáng)光照射下會(huì)產(chǎn)生大量的鏡面高光。

第二個(gè)挑戰(zhàn)是黑暗環(huán)境下的重建。在黑暗環(huán)境下拍攝的訓(xùn)練圖像丟失了大量重建細(xì)節(jié)。因此，如何在這兩種極端光照條件下實(shí)現(xiàn)高質(zhì)量的重建結(jié)果是對(duì)近期方法的挑戰(zhàn)。

我們希望這些結(jié)果能夠鼓勵(lì)后續(xù)在惡劣條件下進(jìn)行3D重建的研究。

結(jié)論

在本文中，我們提出了第一個(gè)大規(guī)模高質(zhì)量 3D 實(shí)車(chē)數(shù)據(jù)集，名為3DRealCar。收集到的每輛汽車(chē)的密集高分辨率 360 度視圖可用于重建高質(zhì)量的3D汽車(chē)。大量實(shí)驗(yàn)證明了我們的3DRealCar在3D重建方面的有效性和挑戰(zhàn)。得益于從我們的數(shù)據(jù)集和汽車(chē)零件級(jí)注釋中重建的高質(zhì)量3D汽車(chē)，我們的數(shù)據(jù)集可用于支持與汽車(chē)相關(guān)的各種任務(wù)。此外，基準(zhǔn)測(cè)試結(jié)果可以作為未來(lái)研究的基線。雖然3DRealCar目前只有汽車(chē)外部視圖，但我們打算在未來(lái)提供外部和內(nèi)部視圖，以進(jìn)一步促進(jìn)更完整的3D汽車(chē)的重建。