近日，斯坦福大學(xué)Gordon Wetzstein教授團隊提出一種將反向設(shè)計的介質(zhì)表面波導(dǎo)與人工智能驅(qū)動的全息顯示相結(jié)合的近眼顯示設(shè)計，能夠以緊湊的眼鏡形式呈現(xiàn)全彩色3D增強現(xiàn)實。 新興的空間計算系統(tǒng)能夠?qū)?shù)字信息無縫疊加在用戶所觀察到的物理環(huán)境上，為娛樂、教育、通信和培訓(xùn)等各個領(lǐng)域提供變革性的體驗。然而，由于增強現(xiàn)實（AR）顯示器的光學(xué)投影部件龐大且無法準(zhǔn)確呈現(xiàn)虛擬內(nèi)容的三維深度線索等因素，其廣泛應(yīng)用受到限制。為此，研究人員提出了一種全息增強現(xiàn)實系統(tǒng)，該系統(tǒng)利用反向設(shè)計的全彩色介質(zhì)表面光柵、緊湊的色散補償波導(dǎo)幾何結(jié)構(gòu)和人工智能驅(qū)動的全息算法克服了這些挑戰(zhàn)。這些元件經(jīng)過共同設(shè)計，消除了空間光調(diào)制器和波導(dǎo)之間需要龐大準(zhǔn)直光學(xué)元件的需求，并在緊湊的設(shè)備形態(tài)中呈現(xiàn)出鮮艷、全彩色的3D增強現(xiàn)實內(nèi)容。為了在原型中提供前所未有的視覺質(zhì)量，研究人員開發(fā)了一種創(chuàng)新的圖像形成模型，將物理準(zhǔn)確的波導(dǎo)模型與使用相機反饋自動校準(zhǔn)的學(xué)習(xí)組件相結(jié)合。獨特的納米光子介質(zhì)表面波導(dǎo)和人工智能驅(qū)動的全息算法的共同設(shè)計，代表了在緊湊的可穿戴設(shè)備中創(chuàng)造引人注目的3D增強現(xiàn)實體驗的重大進展。

比較現(xiàn)有增強現(xiàn)實眼鏡

傳統(tǒng)的增強現(xiàn)實眼鏡使用振幅空間光調(diào)制器，例如有機發(fā)光二極管或微型發(fā)光二極管，需要一個投影器為基礎(chǔ)的光學(xué)引擎，其厚度通常至少與投影鏡頭的焦距相同。全息增強現(xiàn)實眼鏡設(shè)計使用相位空間光調(diào)制器，可以非常靠近入射光柵，從而使設(shè)備形態(tài)最小化。此外，與傳統(tǒng)的增強現(xiàn)實眼鏡不同，該全息設(shè)計可以為虛擬內(nèi)容提供完整的三維深度線索。

反向設(shè)計的介質(zhì)表面波導(dǎo)

該系統(tǒng)的波導(dǎo)幾何結(jié)構(gòu)被設(shè)計成適應(yīng)紅、綠、藍波前的不同傳播角度。具體而言，幾何結(jié)構(gòu)被約束為保持全彩色3D全息圖所需的獨立自由度，通過將所有三種顏色的傳播波前耦合出來的方式實現(xiàn)。

該系統(tǒng)的介質(zhì)表面光柵具有優(yōu)化的納米尺度特征（如左圖所示），可以高效地將光散射進入和出離我們的波導(dǎo)。介質(zhì)表面的周期（Λ）和高度（H）分別為384納米和220納米。右圖所示的歸一化磁場圖示出了紅色（638 nm）、綠色（521 nm）和藍色（445 nm）波長在出射耦合器處經(jīng)由介質(zhì)表面光柵的衍射情況。黑色箭頭表示入射和衍射光的波矢。比例尺：400 nm。

掃描電子顯微鏡圖像展示了介質(zhì)表面設(shè)計的成功制造。比例尺：2 μm（左圖），200 nm（右圖）

學(xué)習(xí)的物理波導(dǎo)模型

研究人員構(gòu)建了一個學(xué)習(xí)的物理波導(dǎo)模型，通過將波導(dǎo)的物理特性（綠色高亮顯示）與從相機反饋中學(xué)習(xí)得到的人工智能組件（橙色高亮顯示）相結(jié)合，準(zhǔn)確預(yù)測系統(tǒng)的輸出。研究人員通過分析推導(dǎo)得到的物理項包括照明聚焦光照射空間光調(diào)制器和頻率相關(guān)系數(shù)，用于模擬波導(dǎo)內(nèi)的傳播。該系統(tǒng)學(xué)習(xí)得到的組件包括參數(shù)化的空間映射，用于表征制造的介質(zhì)表面光柵的衍射效率變化，以及用于建模內(nèi)容相關(guān)的非理想特性的卷積神經(jīng)網(wǎng)絡(luò)，例如空間上變化的空間光調(diào)制器的非線性響應(yīng)。該模型是完全可微的，使得可以在運行時使用簡單的梯度下降計算全息計算機生成的相位圖案，以實現(xiàn)任意目標(biāo)場景的渲染。

在這里，研究人員比較了使用傳統(tǒng)的自由空間傳播模型和學(xué)習(xí)得到的物理波導(dǎo)模型生成的相同場景的視頻全息圖像。這個比較展示了解析波導(dǎo)模型和人工智能算法混合的重要性，以實現(xiàn)高質(zhì)量的全彩色全息圖像。

這個例子展示了增強現(xiàn)實眼鏡設(shè)計如何獨特地呈現(xiàn)全彩色的3D視頻全息圖像。在空間光調(diào)制器上顯示的相位調(diào)制圖案產(chǎn)生一個波前，通過波導(dǎo)傳播，重構(gòu)出眼鏡中一個完整的3D場景視圖。

在這個3D增強現(xiàn)實場景中，虛擬機器人、魔方和自行車與真實的玩具鴨子和動作人物一起呈現(xiàn)。移動攝像機以聚焦不同的物體，以突出展示如何通過波導(dǎo)在不同深度呈現(xiàn)3D增強現(xiàn)實內(nèi)容。

值得注意的是，用于生成這些全息圖像的我們?nèi)⒃鰪姮F(xiàn)實眼鏡的組件可以適應(yīng)可穿戴形態(tài)，正如下面的3D打印原型所示：

論文：https://www.nature.com/articles/s41586-024-07386-0

?源代碼：https://github.com/computational-imaging/holographic-AR-glasses

譯自（有刪改）：https://www.computationalimaging.org/publications/holographicar/

誰是Gordon Wetzstein？

Gordon Wetzstein是斯坦福大學(xué)電氣工程系副教授，兼任計算機科學(xué)系副教授。他是斯坦福計算成像實驗室的負責(zé)人，也是斯坦福圖像系統(tǒng)工程中心的教職人員聯(lián)合主任。Wetzstein教授的研究涉及計算機圖形學(xué)、視覺、人工智能、計算光學(xué)和應(yīng)用視覺科學(xué)的交叉領(lǐng)域，其研究在下一代成像、可穿戴計算和神經(jīng)渲染系統(tǒng)等方面具有廣泛的應(yīng)用。Wetzstein教授是Optica的會士，并獲得了眾多獎項，包括IEEE VGTC虛擬現(xiàn)實技術(shù)成就獎、NSF CAREER獎、Alfred P. Sloan獎學(xué)金、ACM SIGGRAPH顯著新研究人員獎、總統(tǒng)早期科學(xué)家和工程師獎（PECASE）、SPIE早期職業(yè)成就獎、電子成像年度科學(xué)家獎、Alain Fournier博士學(xué)位論文獎，以及許多最佳論文和演示獎項。

本文轉(zhuǎn)載自公眾號AIGC最前線   

原文鏈接：???https://mp.weixin.qq.com/s/vsJwUBlDE33IDe4AHLBq7g???