本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

1.Nuscenes

數(shù)據(jù)集鏈接：nuScenes

nuscenes數(shù)據(jù)集下有多個(gè)任務(wù)，涉及Detection（2D/3D）、Tracking、prediction、激光雷達(dá)分割、全景任務(wù)、規(guī)劃控制等多個(gè)任務(wù)；

nuScenes數(shù)據(jù)集是一個(gè)具有三維目標(biāo)注釋的大型自動(dòng)駕駛數(shù)據(jù)集，也是目前主流算法評測的benchmark，它的特點(diǎn)：

● 全套傳感器套件（1個(gè)激光雷達(dá)、5個(gè)雷達(dá)、6個(gè)攝像頭、IMU、GPS）

● 1000個(gè)20s的場景

● 1400000張相機(jī)圖像

● 39萬次激光雷達(dá)掃描

● 兩個(gè)不同的城市：波士頓和新加坡

● 左側(cè)交通與右側(cè)交通

● 詳細(xì)地圖信息

● 為23個(gè)目標(biāo)類手動(dòng)注釋的1.4M 3D邊界框

2.KITTI

數(shù)據(jù)集官網(wǎng)：The KITTI Vision Benchmark Suite (cvlibs.net)

ITTI數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦，該數(shù)據(jù)集用于評測立體視覺(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計(jì)算機(jī)視覺技術(shù)在車載環(huán)境下的性能。KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實(shí)圖像數(shù)據(jù)，每張圖像中最多達(dá)15輛車和30個(gè)行人，還有各種程度的遮擋與截?cái)唷Ｕ麄€(gè)數(shù)據(jù)集由389對立體圖像和光流圖，39.2 km視覺測距序列以及超過200k 3D標(biāo)注物體的圖像組成 ，以10Hz的頻率采樣及同步。總體上看，原始數(shù)據(jù)集被分類為’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。對于3D物體檢測，label細(xì)分為car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc組成。

因?yàn)閿?shù)據(jù)量少，目前很多算法驗(yàn)證都在nuscenes上啦~~~

3.Wamyo

年份：2020年；

作者：Waymo LLC和Google LLC

場景數(shù)：共1150個(gè)場景，主要采集自San Francisco，Mountain View，Phoenix等；

類別數(shù)：共4類，分別是Vehicles，Pedestrians，Cyclists及Signs；

是否360°采集：是；

數(shù)據(jù)總量：共包含 2030個(gè)片段，每個(gè)片段長度為20秒；

標(biāo)注總數(shù)：約12,600,000個(gè)3D標(biāo)注框；

傳感器型號：包含1個(gè)mid-range LiDAR，4個(gè)short-range LiDARs，5個(gè)相機(jī)（前置及側(cè)面），同時(shí)LiDAR和相機(jī)是經(jīng)過同步和標(biāo)定處理過的；

數(shù)據(jù)集鏈接：https://waymo.com/open/；

簡介：Waymo是自動(dòng)駕駛領(lǐng)域最重要的數(shù)據(jù)集之一，規(guī)模很大，主要用以支持自動(dòng)駕駛感知技術(shù)的研究。Waymo主要由兩個(gè)數(shù)據(jù)集組成，Perception Dataset及Motion Dataset。其中，Perception Dataset包含3D標(biāo)注，2D全景分割標(biāo)注，關(guān)鍵點(diǎn)標(biāo)注，3D語義分割標(biāo)注等。Motion Dataset主要用于交互任務(wù)的研究，共包含103,354個(gè)20s片段，標(biāo)注了不同物體及對應(yīng)的3D地圖數(shù)據(jù)。

4.BDD100K

BDD100K數(shù)據(jù)集是2018年5月由伯克利大學(xué)AI實(shí)驗(yàn)室（BAIR）所發(fā)布，同時(shí)設(shè)計(jì)了一個(gè)圖片標(biāo)注系統(tǒng)。BDD100K數(shù)據(jù)集包含10萬段高清視頻，每個(gè)視頻約40秒/720p/30 fps 。每個(gè)視頻的第10秒對關(guān)鍵幀進(jìn)行采樣，得到10萬張圖片，圖片分辨率為1280*720，并對其進(jìn)行標(biāo)注。數(shù)據(jù)庫集包含了不同天氣、場景、時(shí)間的圖片，具有規(guī)模大，多樣化的特點(diǎn)。

主要任務(wù)：視頻、可行使區(qū)域、車道線、語義分割、實(shí)力分割、全景分割、MOT、檢測任務(wù)、Pose等；

數(shù)據(jù)集鏈接：Berkeley DeepDrive

5.Lyft L5數(shù)據(jù)集

年份：2019年；

作者：Woven Planet Holdings；

場景數(shù)：共1805個(gè)場景，室外；

類別數(shù)：共9類，包括Car，Pedestrian，traffic lights等；

是否360°采集：是；

數(shù)據(jù)總量：包括46,000張圖像數(shù)據(jù)，及其對應(yīng)的點(diǎn)云數(shù)據(jù)；

標(biāo)注總數(shù)：約1300,000個(gè)3D標(biāo)注框；

傳感器型號：包括2個(gè)LiDARs，分別是40線和64線，安裝在車頂及保險(xiǎn)杠上，其分辨率為0.2°，在10Hz下采集約216,000個(gè)點(diǎn)。此外，還包括6個(gè)360°相機(jī)和1個(gè)長焦相機(jī)，攝像機(jī)與LiDAR采集頻率一致。

數(shù)據(jù)集鏈接：https://level-5.global/data/；

簡介：Lyft L5是一整套L5級自動(dòng)駕駛數(shù)據(jù)集，據(jù)稱“業(yè)內(nèi)最大的自動(dòng)駕駛公共數(shù)據(jù)集”，涵蓋了Prediction Dataset及Perception Dataset。其中Prediction Dataset涵蓋了自動(dòng)駕駛測車隊(duì)在Palo Alto沿線遇到的各類目標(biāo)，如Cars，Cyclists和Pedestrians。Perception Dataset則涵蓋了自動(dòng)駕駛車隊(duì)裝置的LiDARs和攝像機(jī)采集的真實(shí)數(shù)據(jù)，并通過人工方式標(biāo)注了大量的3D邊界框。

6.H3D數(shù)據(jù)集

年份：2019年；

作者：Honda Research Institute；

場景數(shù)：共160個(gè)場景，室外；

類別數(shù)：共8類；

是否360°采集：否；

數(shù)據(jù)總量：包括27,000張圖像數(shù)據(jù)，及其對應(yīng)的點(diǎn)云數(shù)據(jù)；

標(biāo)注總數(shù)：約1100,000個(gè)3D標(biāo)注框；

傳感器型號：共配備了3個(gè)相機(jī)型號為Grasshopper 3，分辨率均為1920x1200，除了背面的相機(jī)FOV為80°，其他的2個(gè)相機(jī)的FOV為90°，使用了一個(gè)64線的LiDAR，型號為Velodyne HDL64E S2，以及一個(gè)GNSS+IMU型號為ADMA-G；

數(shù)據(jù)集鏈接：http://usa.honda-ri.com/H3D；

簡介：本田研究所于2019年3月發(fā)布其無人駕駛方向數(shù)據(jù)集H3D。該數(shù)據(jù)集使用3D LiDAR掃描儀收集的包括3D多目標(biāo)檢測和跟蹤數(shù)據(jù)，包含160個(gè)擁擠且高度互動(dòng)的交通場景，在27,721幀中有超過100萬個(gè)標(biāo)記實(shí)例。

主要任務(wù)包括：

7.ApplloScape數(shù)據(jù)集

年份：2019年；

作者：Baidu Research；

場景數(shù)：共103個(gè)場景，室外；

類別數(shù)：共26類，包括small vehicles，big vehicles，pedestrian，motorcyclist等；

是否360°采集：否；

數(shù)據(jù)總量：包括143,906張圖像數(shù)據(jù)，及其對應(yīng)的點(diǎn)云數(shù)據(jù)；

標(biāo)注總數(shù)：標(biāo)注總數(shù)未知；

傳感器型號：共配置了2個(gè)VUX-1HA laser scanners，6個(gè)VMX-CS6相機(jī)（其中兩個(gè)前置相機(jī)分辨率為3384x2710），還有一個(gè)IMU/GNSS設(shè)備；laser scanners利用兩束激光來掃描其周圍環(huán)境，與常用的Velodyne HDL64E相比，scanner可以獲得更高密度的點(diǎn)云，同時(shí)具備更高精度（5mm/3mm）；

數(shù)據(jù)集鏈接：http://apolloscape.auto/index.html；

簡介：ApolloScape由RGB視頻和對應(yīng)的稠密點(diǎn)云組成。包含超過140K張圖片，并且每張圖片都有像素級的語義信息。在國內(nèi)采集的數(shù)據(jù)，所以相比于國外的一些數(shù)據(jù)集，ApolloScape數(shù)據(jù)集包含的交通場景較復(fù)雜，各類目標(biāo)數(shù)量較多，且與KITTI數(shù)據(jù)集類似，同樣包含Easy，Moderate，Hard三個(gè)子集。

主要任務(wù)包括：車道線、定位、軌跡預(yù)測、檢測、跟蹤、雙目、場景識(shí)別等；

8.Argoverse數(shù)據(jù)集

年份：2019年；

作者：Argo AI等；

場景數(shù)：共113個(gè)場景，室外，包括USA，Pennsylvania，Miami，F(xiàn)lorida等；

類別數(shù)：共15類，包括Vehicle，Pedestrian，Stroller，Animal等；

是否360°采集：是；

數(shù)據(jù)總量：包括44,000張圖像數(shù)據(jù)，及其對應(yīng)的點(diǎn)云數(shù)據(jù)；

標(biāo)注總數(shù)：約993,000個(gè)3D標(biāo)注框；

傳感器型號：與KITTI及nuScenes相似，Argoverse數(shù)據(jù)集配置了兩個(gè)32線LiDAR傳感器，型號為VLP-32。同時(shí)，包括7個(gè)高分辨率環(huán)視相機(jī)，分辨率為1920x1200，2個(gè)前置相機(jī)，分辨率為2056x2464；

數(shù)據(jù)集鏈接：https://www.argoverse.org/；

主要任務(wù)：3D跟蹤、運(yùn)動(dòng)預(yù)測等任務(wù)

簡介：Argoverse中的數(shù)據(jù)來自Argo AI的自動(dòng)駕駛測試車輛在邁阿密和匹茲堡（這兩個(gè)美國城市面臨不同的城市駕駛挑戰(zhàn)和當(dāng)?shù)伛{駛習(xí)慣）運(yùn)行的地區(qū)的子集。包括跨不同季節(jié)，天氣條件和一天中不同時(shí)間的傳感器數(shù)據(jù)或“日志段”的記錄，以提供廣泛的實(shí)際駕駛場景。其包含了共113個(gè)場景的3D跟蹤注釋，每個(gè)片段長度為15-30秒，共計(jì)包含11052個(gè)跟蹤目標(biāo)。其中，70%的標(biāo)注對象為車輛，其余對象為行人、自行車、摩托車等；此外，Argoverse包含高清地圖數(shù)據(jù)，主要囊括匹茲堡和邁阿密290公里的車道地圖，如位置、連接、交通信號、海拔等信息。

9.Argoversev2數(shù)據(jù)集

Argoverse 2是一個(gè)開源自動(dòng)駕駛數(shù)據(jù)和高清（HD）地圖的集合，來自美國六個(gè)城市：奧斯汀、底特律、邁阿密、匹茲堡、帕洛阿爾托和華盛頓特區(qū)。本次發(fā)布建立在Argovverse（“Argoverse1”）的首次發(fā)布基礎(chǔ)上，Argovverse1是首批包含用于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺研究的高清地圖的數(shù)據(jù)發(fā)布之一。

Argoverse 2包括四個(gè)開源數(shù)據(jù)集：

Argoverse 2傳感器數(shù)據(jù)集：包含1000個(gè)帶有激光雷達(dá)、立體圖像和環(huán)形攝像頭圖像的3D注釋場景。該數(shù)據(jù)集改進(jìn)了Argoverse 1 3D跟蹤數(shù)據(jù)集；

Argoverse 2運(yùn)動(dòng)預(yù)測數(shù)據(jù)集：包含250000個(gè)場景，其中包含許多對象類型的軌跡數(shù)據(jù)。該數(shù)據(jù)集改進(jìn)了Argoverse 1運(yùn)動(dòng)預(yù)測數(shù)據(jù)集；

Argoverse 2激光雷達(dá)數(shù)據(jù)集：包含20000個(gè)未標(biāo)記的激光雷達(dá)序列；

Argoverse 2地圖更改數(shù)據(jù)集：包含1000個(gè)場景，其中200個(gè)場景描述了真實(shí)世界的高清地圖更改！

Argoverse 2數(shù)據(jù)集共享一種通用的高清地圖格式，該格式比Argoverse 1中的高清地圖更豐富。Argoverse 2數(shù)據(jù)集還共享一個(gè)通用的API，允許用戶輕松訪問和可視化數(shù)據(jù)和地圖。

10.Occ3D

清華大學(xué)和英偉達(dá)出品，第一個(gè)大規(guī)模占用柵格benchmark！

數(shù)據(jù)集鏈接：Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving (tsinghua-mars-lab.github.io)

作者生成了兩個(gè)3D占用預(yù)測數(shù)據(jù)集，Occ3D nuScenes和Occ3D Waymo。Occ3D nuScenes包含600個(gè)用于訓(xùn)練的場景、150個(gè)用于驗(yàn)證的場景和150個(gè)用于測試的場景，總計(jì)40000幀。它有16個(gè)公共類和一個(gè)額外的通用對象（GO）類。每個(gè)樣本覆蓋范圍為[-40m、-40m、-1m、40m、40m、5.4m]，體素大小為[0.4m、0.4m、0.4m]。Occ3D Waymo包含798個(gè)用于訓(xùn)練的序列，202個(gè)用于驗(yàn)證的序列，累積了200000幀。它有14個(gè)已知的目標(biāo)類和一個(gè)額外的GO類。每個(gè)樣本覆蓋的范圍為[-80m、-80m、-1m、80m、80m和5.4m]，極細(xì)的體素大小為[0.05m、0.05m、0.05m]。

11.nuPlan

nuPlan是世界上第一個(gè)自動(dòng)駕駛的大規(guī)模規(guī)劃基準(zhǔn)，雖然越來越多的基于ML的運(yùn)動(dòng)規(guī)劃人員，但由于缺乏既定的數(shù)據(jù)集、模擬框架和指標(biāo)，限制了該領(lǐng)域的進(jìn)展。自動(dòng)駕駛汽車運(yùn)動(dòng)預(yù)測的現(xiàn)有基準(zhǔn)（Argovest、Lyft、Waymo）專注于其他智能體的短期運(yùn)動(dòng)預(yù)測，而不是自我汽車的長期規(guī)劃。這導(dǎo)致以前的工作使用基于L2的指標(biāo)進(jìn)行開環(huán)評估，這不適合公平評估長期規(guī)劃。這個(gè)基準(zhǔn)測試通過提供一個(gè)訓(xùn)練框架來開發(fā)基于機(jī)器學(xué)習(xí)的規(guī)劃者、一個(gè)輕量級閉環(huán)模擬器、特定于運(yùn)動(dòng)規(guī)劃的指標(biāo)和一個(gè)可視化結(jié)果的交互式工具，克服了這些限制。

提供了一個(gè)大規(guī)模數(shù)據(jù)集，其中包含來自美國和亞洲4個(gè)城市（波士頓、匹茲堡、拉斯維加斯和新加坡）的1200小時(shí)人類駕駛數(shù)據(jù)。數(shù)據(jù)集使用最先進(jìn)的Offline Perception系統(tǒng)自動(dòng)標(biāo)記。與現(xiàn)有的這種大小的數(shù)據(jù)集相反，不僅發(fā)布了數(shù)據(jù)集中檢測到的對象的3d框，還提供了10%的原始傳感器數(shù)據(jù)（120h）。

數(shù)據(jù)集鏈接：nuPlan (nuscenes.org)

12.ONCE (One Million Scenes)

● 發(fā)布方：華為

● 發(fā)布時(shí)間：2021

● 簡介：ONCE（One millioN sCenEs）是自動(dòng)駕駛場景下的3D物體檢測數(shù)據(jù)集。ONCE 數(shù)據(jù)集由 100 萬個(gè) LiDAR 場景和 700 萬個(gè)對應(yīng)的相機(jī)圖像組成。這些數(shù)據(jù)選自 144 個(gè)駕駛小時(shí)，比 nuScenes 和 Waymo 等其他可用的 3D 自動(dòng)駕駛數(shù)據(jù)集長 20 倍，并且是在一系列不同的地區(qū)、時(shí)期和天氣條件下收集的。由組成：100 萬個(gè) LiDAR 幀，700 萬個(gè)相機(jī)圖像 200 平方公里的駕駛區(qū)域，144 個(gè)駕駛小時(shí) 15k 個(gè)完全注釋的場景，分為 5 個(gè)類別（汽車、公共汽車、卡車、行人、騎自行車的人） 多樣化的環(huán)境（白天/夜晚、晴天/雨天、城市/郊區(qū)）。

● 下載地址：https://opendatalab.org.cn/ONCE

● 論文地址：https://arxiv.org/pdf/2106.1103

13.Cityscape

● 發(fā)布方：達(dá)姆施塔特工業(yè)大學(xué) · 馬克斯普朗克信息學(xué)研究所 ● 發(fā)布時(shí)間：2016

● 簡介：Cityscapes是一個(gè)大型數(shù)據(jù)庫，專注于對城市街道場景的語義理解。它為分為8個(gè)類別 (平面，人類，車輛，構(gòu)造，對象，自然，天空和虛空) 的30個(gè)類提供語義，實(shí)例和密集的像素注釋。數(shù)據(jù)集由大約5000個(gè)精細(xì)注釋圖像和20000個(gè)粗糙注釋圖像組成。在幾個(gè)月，白天和良好的天氣條件下，在50個(gè)城市中捕獲了數(shù)據(jù)。它最初被記錄為視頻，因此手動(dòng)選擇幀以具有以下功能: 大量動(dòng)態(tài)對象，不同的場景布局和不同的背景。

● 下載地址：https://opendatalab.org.cn/CityScapes

● 論文地址：https://arxiv.org/pdf/1604.0168

14.YouTube Driving Dataset

● 發(fā)布方：香港中文大學(xué) · 加州大學(xué) ● 發(fā)布時(shí)間：2022

● 簡介：從YouTube上抓取第一視圖駕駛視頻。收集總長度超過120小時(shí)的134視頻。這些視頻涵蓋了具有各種天氣條件 (晴天，雨天，下雪等) 和區(qū)域 (農(nóng)村和城市地區(qū)) 的不同駕駛場景。每一秒鐘采樣一個(gè)幀，得到130萬幀的數(shù)據(jù)集。將YouTube駕駛數(shù)據(jù)集分為具有70% 數(shù)據(jù)的訓(xùn)練集和具有30% 數(shù)據(jù)的測試集，并在訓(xùn)練集上進(jìn)行ACO的訓(xùn)練。

● 下載地址：https://opendatalab.org.cn/YouTube_Driving_Dataset

● 論文地址：https://arxiv.org/pdf/2204.02393.pdf

15. A2D2

● 發(fā)布方：奧迪

● 發(fā)布時(shí)間：2020

● 簡介：我們已經(jīng)發(fā)布了奧迪自動(dòng)駕駛數(shù)據(jù)集 (A2D2)，以支持從事自動(dòng)駕駛的初創(chuàng)公司和學(xué)術(shù)研究人員。為車輛配備多模式傳感器套件，記錄大型數(shù)據(jù)集并對其進(jìn)行標(biāo)記是耗時(shí)且費(fèi)力的。A2D2數(shù)據(jù)集消除了這種高進(jìn)入壁壘，并使研究人員和開發(fā)人員可以專注于開發(fā)新技術(shù)。數(shù)據(jù)集具有2D語義分割，3D點(diǎn)云，3D邊界框和車輛總線數(shù)據(jù)。

● 下載地址：https://opendatalab.org.cn/A2D2

● 論文地址：https://arxiv.org/pdf/2004.0632

16.Cam2BEV

● 發(fā)布方：亞琛工業(yè)大學(xué)

● 發(fā)布時(shí)間：2020

該數(shù)據(jù)集包含兩個(gè)合成的、語義分割的道路場景圖像子集，它們是為開發(fā)和應(yīng)用論文“A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented”中描述的方法而創(chuàng)建的。該數(shù)據(jù)集可以通過 Github 上描述的 Cam2BEV 方法的官方代碼實(shí)現(xiàn)來使用。

數(shù)據(jù)集鏈接：Cam2BEV-OpenDataLab

17.SemanticKITTI

● 發(fā)布方：波恩大學(xué)

● 發(fā)布時(shí)間：2019

這是一個(gè)基于 KITTI Vision Benchmark 的大規(guī)模數(shù)據(jù)集，并使用了里程計(jì)任務(wù)提供的所有序列。我們?yōu)樾蛄?00-10 的每個(gè)單獨(dú)掃描提供密集注釋，這使得能夠使用多個(gè)順序掃描進(jìn)行語義場景解釋，如語義分割和語義場景補(bǔ)全。剩余的序列，即序列 11-21，被用作測試集，顯示大量具有挑戰(zhàn)性的交通情況和環(huán)境類型。未提供測試集的標(biāo)簽，我們使用評估服務(wù)對提交進(jìn)行評分并提供測試集結(jié)果。

● 下載地址：https://opendatalab.org.cn/SemanticKITTI

● 論文地址：https://arxiv.org/pdf/1904.0141

18. OpenLane

● 發(fā)布方：上海人工智能實(shí)驗(yàn)室 · 上海交通大學(xué) · 商湯科技研究所

● 發(fā)布時(shí)間：2022

OpenLane 是迄今為止第一個(gè)真實(shí)世界和規(guī)模最大的 3D 車道數(shù)據(jù)集。我們的數(shù)據(jù)集從公共感知數(shù)據(jù)集 Waymo Open Dataset 中收集有價(jià)值的內(nèi)容，并為 1000 個(gè)路段提供車道和最近路徑對象（CIPO）注釋。簡而言之，OpenLane 擁有 200K 幀和超過 880K 仔細(xì)注釋的車道。我們公開發(fā)布了 OpenLane 數(shù)據(jù)集，以幫助研究界在 3D 感知和自動(dòng)駕駛技術(shù)方面取得進(jìn)步。

● 下載地址：https://opendatalab.org.cn/OpenLane

● 論文地址：https://arxiv.org/pdf/2203.11089.pdf

19. OpenLane-V2

● 發(fā)布方：上海人工智能實(shí)驗(yàn)室

● 發(fā)布時(shí)間：2023

全球首個(gè)自動(dòng)駕駛道路結(jié)構(gòu)感知和推理基準(zhǔn)。數(shù)據(jù)集的首要任務(wù)是場景結(jié)構(gòu)感知和推理，這需要模型能夠識(shí)別周圍環(huán)境中車道的可行駛狀態(tài)。該數(shù)據(jù)集的任務(wù)不僅包括車道中心線和交通要素檢測，還包括檢測到的對象的拓?fù)潢P(guān)系識(shí)別。

● 下載地址：https://opendatalab.org.cn/OpenLane-V2

原文鏈接：https://mp.weixin.qq.com/s/rNc16TLtZFvvkw0BED8hiA