在 9 月舉行的 GTC 大會(huì)上，NVIDIA 產(chǎn)品經(jīng)理 Gautham Sholingar 以《合成數(shù)據(jù)生成：加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證》為題，完整地介紹了 NVIDIA 過去一年在長尾場景訓(xùn)練的最新進(jìn)展和相關(guān)經(jīng)驗(yàn)，特別是探討開發(fā)者如何使用 DRIVE Replicator 生成多樣化的合成數(shù)據(jù)集，以及準(zhǔn)確的真值數(shù)據(jù)標(biāo)簽，從而加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證。該講座內(nèi)容干貨滿滿，引發(fā)了行業(yè)的廣泛關(guān)注和討論。本文對(duì)此次分享的精華內(nèi)容進(jìn)行匯總和整理，以幫助大家更好地了解 DRIVE Replicator，以及自動(dòng)駕駛感知算法的合成數(shù)據(jù)生成。

圖 1

在過去的一年中，NVIDIA 在使用 DRIVE Replicator 生成用于訓(xùn)練自動(dòng)駕駛感知算法的合成數(shù)據(jù)集方面取得了積極的進(jìn)展。圖 1 展示了目前 NVIDIA 正在攻克的一些長尾場景挑戰(zhàn)：

1. 第一行左側(cè)圖，倒車攝像頭附近的弱勢(shì)道路使用者（VRU）。對(duì)于任意自動(dòng)駕駛感知算法而言，VRU 都是一個(gè)重要的對(duì)象類別。在本例中，我們專注于檢測倒車魚眼攝像頭附近的兒童。由于現(xiàn)實(shí)世界中的數(shù)據(jù)采集和數(shù)據(jù)標(biāo)記相當(dāng)具有挑戰(zhàn)性，因此這是一個(gè)重要的安全用例。
2. 第一行中間圖，事故車輛檢測。自動(dòng)駕駛感知算法需要接觸到罕見和不常見的場景，才有助于使對(duì)象檢測算法變得可靠。現(xiàn)實(shí)世界數(shù)據(jù)集里的事故車輛少之又少。DRIVE Replicator 可幫助開發(fā)人員創(chuàng)建各種環(huán)境條件下的意外事件（例如翻車），從而幫助訓(xùn)練此類網(wǎng)絡(luò)。
3. 第一行右側(cè)圖，交通標(biāo)志檢測。在其他一些情況下，手動(dòng)標(biāo)注數(shù)據(jù)既耗時(shí)，又容易出錯(cuò)。DRIVE Replicator 可幫助開發(fā)人員生成各種環(huán)境條件下數(shù)百個(gè)交通標(biāo)志和交通信號(hào)燈的數(shù)據(jù)集，并快速訓(xùn)練網(wǎng)絡(luò)以解決現(xiàn)實(shí)世界的多樣性問題。
4. 最后，在城市環(huán)境中，有許多對(duì)象并不常見，例如特定的交通道具和某些類型的車輛。DRIVE Replicator 可幫助開發(fā)人員提高數(shù)據(jù)集里這些罕見對(duì)象的出現(xiàn)頻率，并借助目標(biāo)合成數(shù)據(jù)來幫助增強(qiáng)現(xiàn)實(shí)世界的數(shù)據(jù)采集。

以上的這些功能，正在通過 NVIDIA DRIVE Replicator 實(shí)現(xiàn)。

了解 DRIVE Replicator 及其關(guān)聯(lián)生態(tài)

DRIVE Replicator 是 DRIVE Sim 工具套件的一部分，可用于自動(dòng)駕駛仿真。

DRIVE Sim 是 NVIDIA 基于 Omniverse 構(gòu)建的、非常領(lǐng)先的自動(dòng)駕駛汽車模擬器，可大規(guī)模地進(jìn)行物理精準(zhǔn)的傳感器仿真。開發(fā)人員可以在工作站上運(yùn)行可重復(fù)的仿真，然后在數(shù)據(jù)中心或云端擴(kuò)展為批量模式。DRIVE Sim 是基于 USD 等強(qiáng)大的開放標(biāo)準(zhǔn)構(gòu)建的模塊化平臺(tái)，支持用戶通過 Omniverse 擴(kuò)展程序引入自己的功能。

DRIVE Sim 上包括 DRIVE Replicator 等多個(gè)應(yīng)用。DRIVE Replicator 主要提供一系列專注于合成數(shù)據(jù)生成的功能，用于自動(dòng)駕駛汽車的訓(xùn)練和算法驗(yàn)證。DRIVE Sim 和 DRIVE Constellation 還支持各個(gè)級(jí)別的自動(dòng)駕駛?cè)珬７抡妫ㄜ浖诃h(huán)、硬件在環(huán)和其他在環(huán)仿真測試（模型、植物、人類，以及更多）。

DRIVE Sim 和傳統(tǒng)自動(dòng)駕駛仿真工具的不同之處是在創(chuàng)建合成數(shù)據(jù)集時(shí)，傳統(tǒng)的自動(dòng)駕駛仿真工具往往結(jié)合專業(yè)的游戲引擎來進(jìn)行，來還原足夠真實(shí)的場景。但是，對(duì)于自動(dòng)駕駛仿真而言，這是遠(yuǎn)遠(yuǎn)不夠的，還需要處理包括物理準(zhǔn)確性、可重復(fù)性和規(guī)模性等核心訴求。

圖 2

在進(jìn)一步介紹 DRIVE Replicator 之前，先為大家介紹幾個(gè)關(guān)聯(lián)概念（如圖 2），特別是 Omniverse，以幫助大家更好地理解與 DRIVE Replicator 相關(guān)的底層技術(shù)支撐。

第一，了解 NVIDIA 用于大規(guī)模仿真的引擎 Omniverse。Omniverse 基于由 Pixar 公司開發(fā)的 USD（Universal Scene Description，一種用于描述虛擬世界的可擴(kuò)展通用語言）而構(gòu)建。USD 是整個(gè)仿真和仿真各個(gè)方面（包括傳感器、3D 環(huán)境）的單一真值數(shù)據(jù)源，這些完全通過 USD 構(gòu)建的場景允許開發(fā)人員對(duì)仿真中的每個(gè)元素進(jìn)行分層式的訪問，為后續(xù)生成多樣化的合成數(shù)據(jù)集奠定基礎(chǔ)。

第二，Omniverse 提供實(shí)時(shí)性的光線追蹤效果，可為 DRIVE Sim 中的傳感器提供支持。RTX 是 NVIDIA 在計(jì)算圖形領(lǐng)域重要的先進(jìn)技術(shù)之一，利用優(yōu)化的光線追蹤 API ，該 API 專注于物理準(zhǔn)確性，可確保對(duì)攝像頭、激光雷達(dá)、毫米波雷達(dá)和超聲傳感器的復(fù)雜行為（例如多次反射、多路徑效應(yīng)、滾動(dòng)快門和鏡頭失真）進(jìn)行原生建模。

第三，NVIDIA Omniverse 是一個(gè)易于擴(kuò)展的開放式平臺(tái)，專為虛擬協(xié)作和物理級(jí)準(zhǔn)確的實(shí)時(shí)模擬打造，能夠在云端或數(shù)據(jù)中心運(yùn)行工作流，可實(shí)現(xiàn)多 GPU 和節(jié)點(diǎn)并行渲染和數(shù)據(jù)生成。

第四，Omniverse 和 DRIVE Sim 采用開放式、模塊化設(shè)計(jì)，圍繞此平臺(tái)已經(jīng)形成了一個(gè)龐大的合作伙伴生態(tài)系統(tǒng)。這些合作伙伴可提供 3D 素材、傳感器、車輛和交通模型、驗(yàn)證工具等

第五，Omniverse 協(xié)作的核心是 Nucleus，Nucleus 具有數(shù)據(jù)存儲(chǔ)和訪問控制功能，它能夠充當(dāng)多個(gè)用戶的集中式內(nèi)容倉庫，支持 DRIVE Sim 將 Runtime 與內(nèi)容解耦，改善版本控制，并為所有素材、場景和元數(shù)據(jù)創(chuàng)建單個(gè)參考點(diǎn)。

DRIVE Sim 是一個(gè)平臺(tái)，NVIDIA 采取生態(tài)合作方式來搭建該平臺(tái)，讓合作伙伴都能為這個(gè)通用平臺(tái)貢獻(xiàn)自己的力量。目前 DRIVE Sim 已經(jīng)建立一個(gè)龐大的合作伙伴生態(tài)系統(tǒng)，涉及 3D 資產(chǎn)、環(huán)境傳感器模型、驗(yàn)證等多個(gè)領(lǐng)域。借助 DRIVE Sim SDK，合作伙伴可以輕松引入自己的傳感器、交通和車輛動(dòng)態(tài)模型，并擴(kuò)展其核心仿真功能。開發(fā)者不僅能在 Omniverse 中編寫擴(kuò)展程序，輕松添加新功能，還能享受到在通用平臺(tái)上進(jìn)行開發(fā)的好處——Omniverse 已連接多個(gè)關(guān)鍵合作伙伴，他們提供了與自動(dòng)駕駛開發(fā)相關(guān)的重要工作流。

如何用 DRIVE Replicator 生成合成數(shù)據(jù)集和真值數(shù)據(jù)

接下來，將為大家解釋以上的這些內(nèi)容如何組合起來，以及 DRIVE Replicator 生成合成數(shù)據(jù)的五個(gè)主要工作步驟（如圖 3）：Content（內(nèi)容 ）— DRIVE Sim Runtime — Sensing（感知）— Randomization（域隨機(jī)化）— Data Writers（數(shù)據(jù)寫入器）。

圖 3

仿真流程的第一步是存儲(chǔ)在 Nucleus 服務(wù)器上的 3D 內(nèi)容和素材。這些素材會(huì)被傳送至 DRIVE Sim Runtime，后者是執(zhí)行場景、交通模型、車輛動(dòng)態(tài)和行為的核心技術(shù)。DRIVE Sim Runtime 可與基于 RTX 光線追蹤技術(shù)的攝像頭、激光雷達(dá)、毫米波雷達(dá)和 USS 的感知技術(shù)結(jié)合使用。下一步是通過運(yùn)動(dòng)、行為、照明和外觀的隨機(jī)化，為數(shù)據(jù)引入多樣性。對(duì)于閉環(huán)仿真，下一步通常由傳感器協(xié)議、CAN 消息和虛擬 ECU（向自動(dòng)駕駛棧發(fā)送重要信息以閉環(huán)）組成的車輛 I/O 將仿真連接到自動(dòng)駕駛棧。

對(duì)于合成數(shù)據(jù)生成，這則是一個(gè)開放的循環(huán)流程，這個(gè)流程會(huì)將隨機(jī)化的傳感器數(shù)據(jù)發(fā)送給數(shù)據(jù)寫入器，而這些數(shù)據(jù)寫入器可輸出用于訓(xùn)練自動(dòng)駕駛感知算法的真值標(biāo)簽。以上的這些步驟代表了合成數(shù)據(jù)生成的完整工作流。

• Content（內(nèi)容）

上文提到，仿真流程的第一步是存儲(chǔ)在 Nucleus 服務(wù)器上的 3D 內(nèi)容和素材。這些內(nèi)容來源于哪里？如何獲取？有什么標(biāo)準(zhǔn)或者要求？

過去幾年，NVIDIA 與多個(gè)內(nèi)容合作伙伴合作，建立了一個(gè)龐大的 3D 資產(chǎn)提供商生態(tài)系統(tǒng)，這些素材包括車輛、道具、行人、植被和 3D 環(huán)境，隨時(shí)可在 DRIVE Sim 中使用。

有一點(diǎn)需要注意的是，即便您從市場上獲得了這些資產(chǎn)，也不意味著就可以開始仿真工作，您還需要讓這些資產(chǎn)為仿真做好準(zhǔn)備，而這就是 SimReady 的用武之地。

擴(kuò)展內(nèi)容的一個(gè)重要部分是與 3D 資產(chǎn)提供商合作，并為他們提供所需的工具，以確保在將資產(chǎn)引入 DRIVE Sim 時(shí)遵循某些約定、命名、資產(chǎn)綁定（asset rigging）、語義標(biāo)簽（semantic labels）和物理特性。

SimReady Studio 幫助內(nèi)容提供商將其現(xiàn)有的資產(chǎn)轉(zhuǎn)換可以加載到 DRIVE Sim 上、仿真就緒的 USD 資產(chǎn)，包括 3D 環(huán)境、動(dòng)態(tài)資產(chǎn)和靜態(tài)道具。

那么，什么是 SimReady？您可以理解為它是一個(gè)轉(zhuǎn)換器，有助于確保 DRIVE Sim 和 Replicator 中的 3D 資產(chǎn)準(zhǔn)備好支持端到端的模擬工作流程。SimReady 有幾個(gè)關(guān)鍵要素，包括：

• 每項(xiàng)資產(chǎn)必須遵循一套關(guān)于方向、命名、幾何形狀等約定的規(guī)范，以確保一致性；
• 語義標(biāo)簽和定義明確的本體（ontology），用于注釋資產(chǎn)的每個(gè)元素。這對(duì)于生成用于感知的真值標(biāo)簽至關(guān)重要；
• 支持剛體物理和動(dòng)力學(xué)，使生成的數(shù)據(jù)集看起來逼真，并從運(yùn)動(dòng)學(xué)角度縮小仿真與現(xiàn)實(shí)之間的差距；
• 下一步是確保資產(chǎn)遵循特定的材料和命名約定，以確保資產(chǎn)為 RTX 光線追蹤做好準(zhǔn)備，并對(duì)激光雷達(dá)、毫米波雷達(dá)和超聲波傳感器等有源傳感器產(chǎn)生真實(shí)的響應(yīng)；
• 另一個(gè)常見方面是裝配 3D 資產(chǎn)，從而實(shí)現(xiàn)照明變化、門驅(qū)動(dòng)、行人步行操作等功能；
• 最后一部分是實(shí)時(shí)高保真?zhèn)鞲衅鞣抡娴男阅軆?yōu)化。

基于以上的理解，一起來看看如何使用 SimReady studio 獲取可用于 DRIVE Sim 的資產(chǎn)的過程。

假設(shè)這個(gè)過程是從 3D 市場購入資產(chǎn)開始。第一步是將此資產(chǎn)導(dǎo)入到 SimReady Studio。這也可以批量完成，或者批量導(dǎo)入多個(gè)資產(chǎn)來完成這個(gè)步驟。

導(dǎo)入后，這些內(nèi)容資產(chǎn)的材質(zhì)名稱會(huì)更新，它們的材質(zhì)屬性也會(huì)更新，拓展至包含反射率、粗糙度等方面的屬性。

這對(duì)于確保渲染數(shù)據(jù)質(zhì)量的物理真實(shí)性，以及確保材質(zhì)系統(tǒng)與所有 RTX 傳感器類型（而不僅僅是在可見光譜中運(yùn)行的傳感器類型）的交互非常重要。

下一步涉及更新語義標(biāo)簽和標(biāo)記。為什么這一步很重要？擁有正確的標(biāo)簽意味著使用資產(chǎn)生成的數(shù)據(jù)可用于訓(xùn)練 AV 算法。此外，DRIVE Sim 和 Omniverse 使用 Nucleus 作為中央資產(chǎn)存儲(chǔ)庫。Nucleus 上有數(shù)以千計(jì)的內(nèi)容資產(chǎn)，擁有可搜索的標(biāo)簽以及相關(guān)的縮略圖將幫助新用戶更容易找到某個(gè)資產(chǎn)。

接下來，開始定義對(duì)象的碰撞體積和幾何形狀，并從物理角度觀察該內(nèi)容資產(chǎn)的行為方式。然后修改對(duì)象的物理和質(zhì)量屬性，從而來創(chuàng)建預(yù)期的行為。

整個(gè)過程的最后一步是驗(yàn)證資產(chǎn)，以確保這些內(nèi)容資產(chǎn)符合正確的約定。仿真就緒的 USD 資產(chǎn)現(xiàn)在可以保存并重新導(dǎo)入至 NVIDIA Omniverse 和 DRIVE Sim。通過 USD 構(gòu)建場景的最大優(yōu)點(diǎn)是，在前面的步驟中創(chuàng)建的所有元數(shù)據(jù)都與最終資產(chǎn)一起傳輸，并分層鏈接到主要對(duì)象的 USD，為后續(xù)生成多樣化的合成數(shù)據(jù)集奠定基礎(chǔ)。

圖 4

回到自動(dòng)駕駛汽車仿真內(nèi)容創(chuàng)建，從地圖數(shù)據(jù)創(chuàng)建環(huán)境通常有幾種方法（見圖 4）。一種是選擇使用  MathWorks 的 Roadrunner 工具在一個(gè)開放的 NVIDIA DRIVE map（多模式地圖平臺(tái)）上創(chuàng)建 3D 環(huán)境。然后將該步驟的輸出結(jié)果，以及語義地圖信息、信號(hào)時(shí)序等傳輸?shù)?SimReady Studio ，該 3D 環(huán)境即可轉(zhuǎn)換為可以加載到 DRIVE Sim 上的 USD 資產(chǎn)。

另一種選擇，使用來自自動(dòng)駕駛車隊(duì)的體素地圖數(shù)據(jù)并提取語義地圖信息，例如車道、路標(biāo)和其他元數(shù)據(jù)。這些信息通過數(shù)字孿生創(chuàng)建，生成可以加載到 DRIVE Sim 上的 USD 資產(chǎn)。

以上兩類的 USD 環(huán)境，將被用于支持自動(dòng)駕駛汽車端到端（E2E）仿真測試以及合成數(shù)據(jù)生成工作流。

• DRIVE Sim Runtime

接下來為大家介紹仿真的第二步——DRIVE Sim Runtime，它奠定了我們?cè)?DRIVE Replicator 中用于生成合成數(shù)據(jù)集的所有功能的基礎(chǔ)。

DRIVE Sim Runtime 是開放式、模塊化的可擴(kuò)展組件。這在實(shí)踐中意味著什么（見圖 5）？

第一，它基于場景構(gòu)建，在這些場景中開發(fā)者可定義場景中的對(duì)象的特定位置、運(yùn)動(dòng)和交互。這些場景可在 Python 中或使用場景編輯器 UI 進(jìn)行定義，并可以保存以供日后使用。

第二，它支持通過 DRIVE Sim SDK 與自定義車輛動(dòng)態(tài)包集成，既可以作為流程中的步驟，也可以作為與 DRIVE Sim 2.0 的共同仿真。

第三，交通模型。DRIVE Sim 擁有豐富的車輛模型界面，借助 Runtime，開發(fā)者可以引入自己的車輛動(dòng)態(tài)或配置現(xiàn)有的基于規(guī)則的交通模型。

第四，動(dòng)作系統(tǒng)，其中包含預(yù)定義的豐富動(dòng)作庫（例如車道變更）、可用于創(chuàng)建不同對(duì)象相互交互場景的時(shí)間觸發(fā)器等。

圖 5

到這里簡單回顧一下前面的內(nèi)容：仿真流程第一步，經(jīng)過 SimReady 轉(zhuǎn)化的、仿真就緒的 3D 內(nèi)容和素材，被存儲(chǔ)在 Nucleus 服務(wù)器上。第二步，這些素材會(huì)被傳送至 DRIVE Sim Runtime，后者是執(zhí)行場景、交通模型、車輛動(dòng)態(tài)和行為的核心技術(shù)，為后面生成合成數(shù)據(jù)集的所有功能奠定基礎(chǔ)。

• Sensing（感知）

在生成數(shù)據(jù)之前，需使用傳感器來設(shè)置目標(biāo)測試車輛。使用 Ego Configurator 工具，開發(fā)者可選擇特定車輛并將其添加到場景中。

此外，開發(fā)者還可以在場景中移動(dòng)車輛，并為車輛添加傳感器。Ego 配置器工具支持通用和 Hyperion 8 傳感器。

將傳感器添加到車輛后，開發(fā)者還可以更改 FOV、分辨率、傳感器名稱等參數(shù)，并在車輛上直觀地配置傳感器位置。

用戶還可以從傳感器 POV 中查看預(yù)覽，并在 3D 環(huán)境中實(shí)現(xiàn)視野可視化，然后再創(chuàng)建數(shù)據(jù)生成場景。

這個(gè)工具可以幫助開發(fā)者快速進(jìn)行不同配置的原型設(shè)計(jì)，并將感知任務(wù)所能達(dá)到的覆蓋范圍可視化。

• Randomization（域隨機(jī)化）

現(xiàn)在簡要介紹一下仿真流程的第四步，域隨機(jī)化，如何通過運(yùn)動(dòng)、行為、照明和外觀的隨機(jī)化，為數(shù)據(jù)引入多樣性。

這會(huì)涉及到創(chuàng)建場景的另一種方法，使用 Python。DRIVE Replicator 的 Python API 允許開發(fā)者查詢開放的 NVIDIA DRIVE Map，并以可感知情景的方式放置一系列靜態(tài)和動(dòng)態(tài)資產(chǎn)。一些隨機(jī)發(fā)生器將重點(diǎn)關(guān)注如何將自主車輛從某一點(diǎn)傳送到下一點(diǎn)，如何在自主車輛周圍產(chǎn)生對(duì)象，并由此生成不同的合成數(shù)據(jù)集。這些聽起來很復(fù)雜的操作都能輕松實(shí)現(xiàn)，因?yàn)橛脩艨梢灾苯涌刂?USD 場景和該環(huán)境中的所有對(duì)象。

在創(chuàng)建用于訓(xùn)練的合成數(shù)據(jù)集時(shí)，另一個(gè)重要步驟是引入 3D 場景外觀變化的能力。上文也提到過 USD 的強(qiáng)大功能，比如通過 USD 構(gòu)建的場景允許開發(fā)人員對(duì)仿真中的每個(gè)元素進(jìn)行分層式的訪問。SimReady 的API 借助 USD 可以快速設(shè)置場景中的特征。

下面看一個(gè)示例（見圖 6）：路面有些濕，但在我們?cè)O(shè)置不同的參數(shù)時(shí)，路面潮濕程度會(huì)發(fā)生變化。我們可以對(duì)太陽方位角和太陽高度角等方面進(jìn)行類似的更改，以在一系列環(huán)境條件下生成逼真的數(shù)據(jù)集。

另一個(gè)要點(diǎn)是開啟照明和外觀變化的能力，所有的這些變化都可以通過 SimReady API 和 USD 實(shí)現(xiàn)。

圖 6

DRIVE Sim 的一個(gè)主要優(yōu)勢(shì)是 RTX 傳感器工作流，它支持各種傳感器（見圖 7），包括用于攝像頭、激光雷達(dá)、普通雷達(dá)和 USS 的通用和現(xiàn)成模型。此外，DRIVE Sim 還全面支持 NVIDIA DRIVE Hyperion 傳感器套件，允許用戶在虛擬環(huán)境中開始算法開發(fā)和驗(yàn)證工作。

此外，DRIVE Sim 擁有功能強(qiáng)大、用途多樣的 SDK，支持合作伙伴使用 NVIDIA 的光線追蹤 API 來實(shí)現(xiàn)復(fù)雜的傳感器模型，同時(shí)保護(hù)其 IP 和專有算法。多年來，這個(gè)生態(tài)系統(tǒng)不斷發(fā)展壯大，而且 NVIDIA 正與合作伙伴合作，將成像雷達(dá)、FMCW 激光雷達(dá)等新形態(tài)的傳感器引入到 DRIVE Sim 中。

圖 7

• Data Writers（數(shù)據(jù)寫入器）

現(xiàn)在，把重點(diǎn)轉(zhuǎn)移到生成真值數(shù)據(jù)，以及如何實(shí)現(xiàn)這些信息的可視化。這涉及到仿真流程的最后一個(gè)步驟，數(shù)據(jù)寫入器。在這個(gè)流程中，會(huì)將隨機(jī)化的傳感器數(shù)據(jù)發(fā)送給數(shù)據(jù)寫入器，而這些數(shù)據(jù)寫入器可輸出用于訓(xùn)練自動(dòng)駕駛感知算法的真值標(biāo)簽。

數(shù)據(jù)寫入器是一個(gè) Python 腳本，用于生成訓(xùn)練自動(dòng)駕駛感知算法所需的真值標(biāo)簽。

NVIDIA DRIVE Replicator 配有模板寫入器，例如基礎(chǔ)寫入器和 KITTI 寫入器。

其中，基礎(chǔ)寫入器涵蓋了廣泛的真實(shí)數(shù)據(jù)標(biāo)簽，包括對(duì)象類、2D 和 3D 中的緊密和松散邊界框、語義和實(shí)例掩碼、深度輸出、遮擋、法線等。

類似地，也有激光雷達(dá)/普通雷達(dá)寫入器，可用于將激光點(diǎn)云數(shù)據(jù)導(dǎo)出為 numpy 數(shù)組，或?qū)㈦S邊界框、語義和對(duì)象標(biāo)簽一起導(dǎo)出為任何相關(guān)的自定義格式。

這些寫入器可為開發(fā)者提供示例，可根據(jù)自定義標(biāo)記格式配置自己的寫入器，并擴(kuò)展數(shù)據(jù)生成工作。

最后，為大家介紹一款令人興奮的軟件，Omniverse 團(tuán)隊(duì)傾力打造的 Replicator Insight。

Replicator Insight 是一款基于 Omniverse Kit 構(gòu)建的獨(dú)立應(yīng)用程序，可用于檢查渲染的合成數(shù)據(jù)集，并疊加用于訓(xùn)練的各種真值標(biāo)簽。

Replicator Insight 可支持所有合成數(shù)據(jù)的生成用例，包括 DRIVE、Isaac 和 Omniverse Replicator。

下面來看一個(gè)示例（見圖 8）：用戶可以在這個(gè)可視化工具中加載 DRIVE Replicator 生成的數(shù)據(jù)，并為場景中的不同對(duì)象類別開啟和關(guān)閉不同的真值標(biāo)簽。

圖 8

借助這個(gè)可視化工具，用戶可以播放視頻、梳理數(shù)據(jù)集，甚至可以在深度和 RGB 數(shù)據(jù)等不同視圖之間進(jìn)行比較。

用戶還可以更改播放幀率和深度范圍等參數(shù)，或者在自動(dòng)駕駛汽車訓(xùn)練前快速將數(shù)據(jù)集可視化。

這將幫助開發(fā)者輕松理解新的真值標(biāo)簽類型和解析復(fù)雜的數(shù)據(jù)集。

總的來說，這是一款功能強(qiáng)大的工具，讓用戶在每次查看數(shù)據(jù)時(shí)都能獲得新的見解，不管這些數(shù)據(jù)是真實(shí)的還是合成的。

小結(jié)

以上，總結(jié)了 DRIVE Replicator 過去一年的最新發(fā)展，并分享了開發(fā)者可以如何借助 DRIVE Replicator 生成多樣化的合成數(shù)據(jù)集，以及準(zhǔn)確的真值數(shù)據(jù)標(biāo)簽，從而加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證。NVIDIA 在為各種現(xiàn)實(shí)世界用例生成高質(zhì)量的傳感器數(shù)據(jù)集方面取得了令人欣喜的進(jìn)展，期待后續(xù)與大家進(jìn)一步交流！