自動(dòng)駕駛新方法登Nature封面：讓黑夜如白晝般清晰，浙大博士一作
利用AI打輔助，讓機(jī)器夜視能力和白天一樣清晰——
今天，這樣一種顛覆已有熱成像技術(shù)的新方法登上了Nature封面。
圖片
它來(lái)自美國(guó)普渡大學(xué)和密歇根州立大學(xué)，一作為浙大畢業(yè)的博士。
通過(guò)克服傳統(tǒng)解決方案中的“重影”問(wèn)題，這種方法在基準(zhǔn)測(cè)試中一顯巨大優(yōu)勢(shì)，不僅能像白天一樣看清環(huán)境的紋理和深度，還能感知到RGB、熱視覺(jué)以外的各種物理信息，可謂相當(dāng)利好機(jī)器感知尤其是自動(dòng)駕駛行業(yè)。
圖片
而作者則認(rèn)為，該成果對(duì)第四次工業(yè)革命還能直接起到加速作用。
何以見(jiàn)得？我們翻開(kāi)論文來(lái)看。
像白天一樣清楚的夜視能力
目前比較前沿的機(jī)器感知方法是利用無(wú)處不在的熱信號(hào)來(lái)重現(xiàn)環(huán)境信息。
但是它有一個(gè)非常明顯的缺點(diǎn)，就是會(huì)產(chǎn)生“重影效應(yīng)（ghosting effect）”。
圖片
具體而言，該效應(yīng)是指由于物體和環(huán)境在不斷發(fā)射熱輻射，導(dǎo)致三個(gè)物理屬性，即溫度（T，物理狀態(tài)）、發(fā)射率（e，材料指紋）和紋理（X，表面幾何形狀）混合在光子流中出現(xiàn)的一種現(xiàn)象（僅限于夜視情況）。
這種現(xiàn)象主要造成的是環(huán)境/物體的紋理缺失，如下圖所示：
只有當(dāng)燈泡關(guān)閉時(shí)我們才能看到燈泡上的幾何紋理，一旦發(fā)光就完全消失，而黑體輻射不可能被“關(guān)閉”，所以也就意味著我們得到的熱圖像總是缺乏紋理，不能看到一個(gè)完全真實(shí)的黑暗世界。
圖片
在此，作者提出了一種名為HADAR（heat-assisted detection and ranging ）的方法，它以熱光子流為輸入，記錄高光譜成像熱立方體，通過(guò)TeX分解來(lái)解決重影效應(yīng)這一挑戰(zhàn)。
圖片
作者表示，TeX分解利用機(jī)器學(xué)習(xí)生動(dòng)地從雜亂的熱信號(hào)中恢復(fù)紋理（如下圖彩色部分），并使人工智能算法能夠達(dá)到信息論的極限，而到目前為止，傳統(tǒng)的RGB或熱視覺(jué)辦法很難做到。
圖片
它的具體實(shí)現(xiàn)如下圖所示：
圖片
作者介紹，其架構(gòu)的物理學(xué)靈感來(lái)自三個(gè)方面。
首先，熱立方體的TeX分解依賴(lài)于空間模式和光譜熱特征，這啟發(fā)了他們?cè)赨Net模型中采用光譜和金字塔（空間）注意力層。
其次，由于TeX的簡(jiǎn)并性，必須指定以下數(shù)學(xué)結(jié)構(gòu)來(lái)確保逆映射的唯一性（α、β代表物體的指數(shù)，v是波數(shù)），因此必須學(xué)習(xí)熱照明系數(shù)V而不是紋理X。也就是說(shuō)，TeX-Net不能端到端地訓(xùn)練。
圖片
最后，材料庫(kù)M及其維度是整個(gè)網(wǎng)絡(luò)的關(guān)鍵。
除此之外，作者還提出了一種非機(jī)器學(xué)習(xí)方法，即TeX-SGD來(lái)生成TeX-vison作為補(bǔ)充。
在測(cè)試中，我們能看到HADAR方法帶來(lái)了超高精度。
如下圖所示，第一行顯示基于原始熱圖像的測(cè)距方法由于重影導(dǎo)致精度很差；第二行則顯示與熱測(cè)距相比，HADAR中恢復(fù)的紋理和增強(qiáng)的精度約達(dá)100倍；
圖片
而在下面的場(chǎng)景中（黑色汽車(chē)、人和愛(ài)因斯坦紙板），我們能看到：
視覺(jué)驅(qū)動(dòng)的物體檢測(cè)在光學(xué)成像中（a）錯(cuò)誤地識(shí)別出了兩個(gè)人和一輛汽車(chē)，而激光雷達(dá)點(diǎn)云（c）不但識(shí)別到兩個(gè)人還把汽車(chē)給丟了，只有HADAR方法能夠帶來(lái)全面的理解，準(zhǔn)確框出一人一車(chē)。
圖片
最后這一組圖則充分證明，HADAR在夜間的總體視覺(jué)能力優(yōu)于目前最先進(jìn)的熱測(cè)距方法（GCNDepth），其RGB立體視覺(jué)更是和白天測(cè)試到的基本處于一個(gè)水平，即HADAR在黑暗中看到環(huán)境紋理和深度，就像白天一樣。
圖片
作者介紹
一作Fanglin Bao，普渡大學(xué)研究員。他于2011年6月在浙江大學(xué)獲得物理學(xué)學(xué)士學(xué)位，2016年6月獲得光學(xué)博士學(xué)位。
Fanglin Bao之前的研究集中于非均勻系統(tǒng)中的卡西米爾效應(yīng)（量子力學(xué)），目前則延伸到張量網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)及其在量子物理學(xué)中的應(yīng)用。
通訊作者為普渡大學(xué)電氣與計(jì)算機(jī)工程教授Zubin Jacob，以及密歇根州立大學(xué)計(jì)算機(jī)科學(xué)與工程系助理教授Vishnu Boddeti（后者正在招收“數(shù)學(xué)背景很強(qiáng)”的學(xué)生）。
