「數(shù)字孿生」東京上線!Jim Fan:具身智能零樣本遷移現(xiàn)實(shí)世界,共享「蜂群思維」
東京高分辨率點(diǎn)云3D數(shù)字孿生模型現(xiàn)已公開(kāi)發(fā)布!任何人都可以免費(fèi)下載。
項(xiàng)目地址:https://github.com/tokyo-digitaltwin
這一數(shù)字孿生模型的規(guī)模非常大,而且它對(duì)東京的刻畫(huà)也非常之精細(xì)——其絕對(duì)位置精度大約在10cm以內(nèi)。
路上的斑馬線
對(duì)此,英偉達(dá)高級(jí)研究科學(xué)家Jim Fan表示,「越來(lái)越多的城市、房屋和工廠被導(dǎo)入模擬環(huán)境將是一個(gè)必然的趨勢(shì)」。
未來(lái),機(jī)器人將不會(huì)孤立地進(jìn)行訓(xùn)練。它們將作為「鋼鐵艦隊(duì)」在實(shí)時(shí)圖形引擎中進(jìn)行模擬,并通過(guò)一個(gè)巨大的集群進(jìn)行擴(kuò)展,以生成下一個(gè)數(shù)萬(wàn)億級(jí)別的高質(zhì)量訓(xùn)練數(shù)據(jù)。
也就是說(shuō),將物理環(huán)境數(shù)字化并導(dǎo)入虛擬模擬世界,將極大加速機(jī)器人技術(shù)的發(fā)展。
通過(guò)在高精度模擬環(huán)境中訓(xùn)練,機(jī)器人能獲得豐富的訓(xùn)練數(shù)據(jù),并在復(fù)雜場(chǎng)景中快速學(xué)習(xí)。
這種方法將推動(dòng)機(jī)器人從虛擬世界到現(xiàn)實(shí)世界的順利遷移,提升其在實(shí)際應(yīng)用中的效率和智能。
什么是城市數(shù)字孿生?
簡(jiǎn)單來(lái)講,數(shù)字孿生就是將物理空間中的實(shí)體搬到網(wǎng)絡(luò)空間中進(jìn)行重現(xiàn)。
當(dāng)這種重現(xiàn)的精度達(dá)到了一定層次后,人們就可以通過(guò)使用從實(shí)體對(duì)象上的傳感器發(fā)送的實(shí)時(shí)數(shù)據(jù)來(lái)模擬行為并監(jiān)控操作,實(shí)現(xiàn)構(gòu)建和利用「孿生」城市。
對(duì)于城市進(jìn)行的數(shù)字孿生其實(shí)也就是基于感知的城市數(shù)據(jù),在網(wǎng)絡(luò)空間上像「孿生」一樣再現(xiàn)建筑物、道路等基礎(chǔ)設(shè)施與經(jīng)濟(jì)活動(dòng)、人流等各種要素。
也就是說(shuō),就像下圖這種連續(xù)循環(huán)的狀態(tài)一樣,可以通過(guò)基于從物理空間各個(gè)領(lǐng)域的活動(dòng)中獲取的實(shí)時(shí)數(shù)據(jù),在網(wǎng)絡(luò)空間中進(jìn)行高級(jí)分析和模擬,并將其結(jié)果以交互式的形式高速反饋到物理空間。
根據(jù)Werner Kritzinger等人的研究,數(shù)字孿生有三個(gè)階段。
第一階段被稱為數(shù)字模型,現(xiàn)有的物理對(duì)象和表現(xiàn)它的虛擬空間之間的相互轉(zhuǎn)換是手動(dòng)進(jìn)行的狀態(tài)。在城市的數(shù)字孿生中,則是將已經(jīng)擁有的歷史數(shù)據(jù)(例如:車流數(shù)據(jù)的再現(xiàn)等)在三維城市上再現(xiàn)的狀態(tài)。
第二階段被稱為數(shù)字陰影,是一種單向數(shù)據(jù)流的狀態(tài),支持將物理對(duì)象自動(dòng)轉(zhuǎn)換為數(shù)字對(duì)象。
第三階段是數(shù)字孿生,物理對(duì)象和數(shù)字對(duì)象,實(shí)現(xiàn)雙向完全融合,每一個(gè)對(duì)象變化,都會(huì)自動(dòng)反映在另一個(gè)對(duì)象上。在城市的數(shù)字孿生中,是指在現(xiàn)實(shí)的物理空間和網(wǎng)絡(luò)空間中,進(jìn)行雙向數(shù)據(jù)交換的狀態(tài)。
對(duì)于城市的數(shù)字孿生,其價(jià)值主要有:
- 與現(xiàn)實(shí)聯(lián)動(dòng)的實(shí)時(shí)數(shù)據(jù)獲取:利用先進(jìn)的傳感器技術(shù)和通信技術(shù)實(shí)時(shí)收集各種數(shù)據(jù)
- 利用3D空間的分析和模擬:在再現(xiàn)現(xiàn)實(shí)的空間中進(jìn)行試驗(yàn)等高級(jí)分析和模擬
- 反饋現(xiàn)實(shí):將結(jié)果實(shí)時(shí)反饋到現(xiàn)實(shí)空間,用于決策、系統(tǒng)控制等
例如,新南威爾士州中將數(shù)字孿生技術(shù)與AI預(yù)測(cè)引擎應(yīng)用于交通擁堵分析調(diào)控中,可以大幅降低因?yàn)榻煌〒矶露鴵p失的社會(huì)效益成本。
數(shù)字孿生與模擬的對(duì)比
城市數(shù)字孿生是通過(guò)構(gòu)建一個(gè)城市的數(shù)字化復(fù)制品,實(shí)時(shí)反映物理世界的狀態(tài)。
它隨著城市的實(shí)時(shí)運(yùn)行而不斷變化,就像一個(gè)與現(xiàn)實(shí)城市同呼吸共命運(yùn)的「影子」。這個(gè)模型不僅能夠反映城市的現(xiàn)狀,還能夠根據(jù)現(xiàn)實(shí)中的突發(fā)情況迅速做出反應(yīng)。
相比之下,城市模擬是一個(gè)相對(duì)靜態(tài)的、基于假設(shè)和預(yù)設(shè)規(guī)則的模型。
它是對(duì)過(guò)去城市運(yùn)行數(shù)據(jù)的提煉和總結(jié),雖然能夠反映一定的規(guī)律,但相較于數(shù)字孿生的實(shí)時(shí)數(shù)據(jù),精準(zhǔn)度會(huì)稍遜一籌。城市模擬更像是依據(jù)城市過(guò)去的「病歷」來(lái)推測(cè)未來(lái)可能出現(xiàn)的病情。
總的來(lái)說(shuō),數(shù)字孿生和模擬都是基于虛擬模型的模擬,但存在一些關(guān)鍵差異。
模擬通常用于設(shè)計(jì),在某些情況下還用于離線優(yōu)化。設(shè)計(jì)人員將更改輸入到模擬中,以觀察假設(shè)情景。而數(shù)字孿生則是復(fù)雜的虛擬環(huán)境,人們可以與之交互并實(shí)時(shí)更新。它們的規(guī)模更大,應(yīng)用更廣泛。
以汽車模擬為例,新駕駛員可以獲得身臨其境的訓(xùn)練體驗(yàn),學(xué)習(xí)各種汽車零件的操作,并在虛擬駕駛時(shí)面對(duì)不同的真實(shí)場(chǎng)景。但是,這些場(chǎng)景與實(shí)際的實(shí)體汽車沒(méi)有關(guān)聯(lián)。
汽車的數(shù)字孿生則與實(shí)體車輛相關(guān)聯(lián),并了解實(shí)際汽車的所有信息,例如重要的性能統(tǒng)計(jì)數(shù)據(jù)、過(guò)去更換的零件、傳感器觀察到的潛在問(wèn)題、以前的維修記錄等。
城市數(shù)字孿生的三大支柱
城市數(shù)字孿生的三大支柱定義為「數(shù)據(jù)維護(hù)」、「數(shù)據(jù)可視化」和「數(shù)據(jù)分析」。
- 數(shù)據(jù)維護(hù)
對(duì)3D數(shù)字地圖、點(diǎn)云數(shù)據(jù)、GIS數(shù)據(jù)等數(shù)字孿生上處理的地理空間數(shù)據(jù)信息進(jìn)行維護(hù)和聚合,其中包含數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)與管理。
- 數(shù)據(jù)可視化
通過(guò)3D查看器等可視化系統(tǒng),將復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為直觀的圖形、圖表和三維模型,使得城市管理者可以看到整個(gè)城市的「數(shù)字畫(huà)像」。
例如,用熱力圖來(lái)展示城市不同區(qū)域的人口密度,用動(dòng)態(tài)流線圖來(lái)表示交通流量的流向和擁堵情況,用三維模型來(lái)模擬建筑物的能耗分布。
這些可視化的呈現(xiàn)方式,讓城市管理者能夠一眼看清城市的運(yùn)行狀態(tài),仿佛擁有了一雙能夠透視城市的「慧眼」。
- 數(shù)據(jù)分析
通過(guò)各種應(yīng)用模擬器,使用數(shù)字孿生上的數(shù)據(jù)進(jìn)行分析,并將其用于措施。
以城市公共交通為例,通過(guò)分析乘客的出行時(shí)間、出行路線和出行頻率等數(shù)據(jù),可以調(diào)整公交線路、優(yōu)化公交車輛的調(diào)度,提高公共交通的運(yùn)營(yíng)效率,減少乘客的候車時(shí)間和出行成本。
在能源管理方面,分析建筑物的能耗數(shù)據(jù),可以制定出精準(zhǔn)的節(jié)能方案,降低城市的能源消耗,實(shí)現(xiàn)城市的可持續(xù)發(fā)展。
數(shù)據(jù)維護(hù)、數(shù)據(jù)可視化以及數(shù)據(jù)分析
東京數(shù)字孿生
東京數(shù)字孿生項(xiàng)目計(jì)劃于2030年實(shí)現(xiàn),目前已經(jīng)推出相關(guān)的beta版本。
體驗(yàn)鏈接:https://3dview.tokyo-digitaltwin.metro.tokyo.lg.jp/?_ga=2.180157796.1370176531.1735090358-57006728.1735090358
如下面演示,東京數(shù)字孿生通過(guò)將城市環(huán)境的高度、經(jīng)度、維度作為建模參數(shù),利用3D點(diǎn)云測(cè)繪,實(shí)現(xiàn)了可視化整個(gè)城市為「數(shù)字孿生」。
如下視頻演示,東京數(shù)字孿生在災(zāi)害應(yīng)急救助時(shí),也能派上大用場(chǎng)。
由于在通過(guò)航空激光測(cè)量等獲得的大規(guī)模點(diǎn)云數(shù)據(jù)中,存在激光無(wú)法到達(dá)的點(diǎn)云數(shù)據(jù)部分缺失的部分。
當(dāng)需要點(diǎn)云數(shù)據(jù)的部分缺失時(shí),可以通過(guò)使用易于使用的設(shè)備自行獲取點(diǎn)云數(shù)據(jù)并將其上傳到東京數(shù)字孿生項(xiàng)目中進(jìn)行疊加來(lái)補(bǔ)充缺失部分。
例如在高架橋下、橋梁下、拱廊、隧道內(nèi)等。下圖為表示橋梁下的點(diǎn)云數(shù)據(jù)缺失部位的例子。
對(duì)于變換較快的環(huán)境,考慮到時(shí)間與費(fèi)用成本,很難進(jìn)行頻繁的航空激光測(cè)量廣域點(diǎn)云數(shù)據(jù)進(jìn)行頻繁更新。此時(shí),用成本較小的簡(jiǎn)易點(diǎn)云數(shù)據(jù)就更為現(xiàn)實(shí)。例如由于大雨、山體滑坡等災(zāi)害而急劇變化的地形。
簡(jiǎn)易點(diǎn)云數(shù)據(jù)可以通過(guò)激光掃描儀獲取。如下圖所示,激光掃描儀以恒定的間隔徑向地用激光束照射掃描目標(biāo)區(qū)域。
其中,撞擊物體的部分激光會(huì)被反射回激光掃描儀,接收到反射激光束的激光掃描儀可以利用從照射到接收的時(shí)間來(lái)計(jì)算其到物體的距離,并計(jì)算接收到激光的物體表面的相對(duì)位置信息。在每個(gè)激光束的計(jì)算位置上打一個(gè)點(diǎn),這些點(diǎn)的集合就是掃描區(qū)域的點(diǎn)云數(shù)據(jù)。
為了進(jìn)行比較驗(yàn)證,有研究人員使用在東京創(chuàng)建的參考點(diǎn)云(TLS/GNSS-static)進(jìn)行了點(diǎn)云精度評(píng)估。他們使用CloudCompare的C2C距離函數(shù)來(lái)評(píng)估原始數(shù)據(jù)的準(zhǔn)確性,而無(wú)需進(jìn)行位置校正(ICP等)。
C2C距離的直方圖
直方圖中的藍(lán)色代表1cm以下的誤差,綠色則為2-3cm的誤差,紅色為4cm以上的誤差。
通過(guò)C2C距離直方圖,可以發(fā)現(xiàn)該點(diǎn)云數(shù)據(jù)具有著高精度水平的表現(xiàn),這種精度水平足以具有廣泛的應(yīng)用。
目前,評(píng)估結(jié)果還僅在某些地區(qū)可用,但如果整個(gè)東京都能夠獲得類似的準(zhǔn)確性,那么數(shù)字孿生東京將具有出色的模擬質(zhì)量,并且足以用于商業(yè)目的。