「世界上有兩種人：認(rèn)為VR將改變世界的人，以及還沒嘗試過VR的人?！?/span>

這是VR界宣傳自己的一句陳詞濫調(diào)了。

但對(duì)于第一次體驗(yàn)VR的人來說，那一刻帶來的沖擊力是毋庸置疑的。

未來VR很有可能成為我們生活那種的一部分，8月6日至10日在洛杉磯舉行的SIGGRAPH 2023大會(huì)上，來自Meta Reality Labs Research的兩個(gè)原型機(jī)將會(huì)給我們機(jī)會(huì)看到這「未來的一瞥」。

Yang Zhao和Grace Kuo

第一個(gè)是Butterscotch Varifocal，它將Half Dome系列原型的變焦技術(shù)與我們?cè)?022年首次亮相的視網(wǎng)膜分辨率VR顯示器結(jié)合了起來。

Yang Zhao佩戴Butterscotch變焦研究原型機(jī)

第二個(gè)是Flamera，它是一款計(jì)算相機(jī)，采用光場技術(shù)實(shí)現(xiàn)無需再投影的VR穿透（passthrough）。

就像我們?cè)?021年首次分享的反向穿透（reverse passthrough）演示一樣，它的外觀和功能與現(xiàn)代頭戴式設(shè)備迥然不同，甚至看上去有些奇怪，但仔細(xì)研究后會(huì)發(fā)現(xiàn)它并不像乍看之下奇異。

Grace Kuo佩戴Flamera研究原型機(jī)

現(xiàn)在，Butterscotch Varifocal和Flamera都還處于研究階段。

Butterscotch 變焦鏡頭：聚焦細(xì)節(jié)

現(xiàn)今的頭戴式設(shè)備在虛擬世界的沉浸感方面做得非常出色，但仍受限于固定的焦距。

大部分人能夠識(shí)別距離眼睛約1米左右的物體，但物體與我們的臉部靠得太近，就很難清晰進(jìn)行視覺聚焦。

大多數(shù)VR開發(fā)者設(shè)計(jì)時(shí)都會(huì)考慮到這一點(diǎn)，調(diào)整虛擬場景中的物體和動(dòng)作的距離，讓用戶在一個(gè)較為自然和舒適的距離內(nèi)看到虛擬世界中的事物，并保持清晰的視覺焦點(diǎn)。

但在使用VR進(jìn)行工作時(shí)，有時(shí)會(huì)需要在虛擬屏幕上閱讀文本，或者是觀察一個(gè)有趣的物體，欣賞其中的細(xì)節(jié)。

這時(shí)傳統(tǒng)VR頭顯通常具有的固定焦距就成為了阻礙。

Butterscotch Varifocal中的「varifocal」 即「變焦」。它利用眼動(dòng)追蹤技術(shù)，能夠在用戶接近物體或虛擬屏幕時(shí)，根據(jù)用戶的視覺焦點(diǎn)動(dòng)態(tài)調(diào)整焦距。

同時(shí)，Butterscotch Varifocal還結(jié)合了視網(wǎng)膜分辨率顯示屏（retinal-resolution），確保保用戶能夠清晰地看到近距離的細(xì)節(jié)，也能在遠(yuǎn)距離看到整個(gè)虛擬場景。

Butterscotch Varifocal致力于提高分辨率和增強(qiáng)視覺舒適性，實(shí)現(xiàn)了變焦技術(shù)并配備了視網(wǎng)膜級(jí)別的分辨率顯示屏，大約每度顯示60個(gè)像素（PPD），這足以達(dá)到人眼視力分辨的極限。

Flamera：穿透功能（Passthrough）的全新嘗試

一般來說，VR頭顯的帶來的沉浸感越強(qiáng)越好。但完全與現(xiàn)實(shí)切斷聯(lián)系也會(huì)帶來許多麻煩。

混合現(xiàn)實(shí)（MR）和穿透功能（Passthrough）能夠讓虛擬世界與物理現(xiàn)實(shí)融合。

這樣一來，虛擬內(nèi)容可以帶到物理環(huán)境中。同時(shí)，用戶在沉浸式的虛擬空間中也可以捕捉到現(xiàn)實(shí)世界的畫面。

這個(gè)功能主要是通過VR頭顯上的攝像頭實(shí)現(xiàn)的，它通常在眼睛前方幾英寸的地方。

即當(dāng)用戶啟用穿透功能時(shí)，頭顯上的攝像頭就會(huì)捕捉周圍的實(shí)際環(huán)境，并將圖像傳遞到虛擬現(xiàn)實(shí)環(huán)境中，使用戶可以在虛擬世界中看到現(xiàn)實(shí)世界的畫面。

但這里存在著一個(gè)問題：

攝像頭捕捉到的視圖與人眼看到的不同，盡管圖像在返回時(shí)會(huì)重新計(jì)算并投影給用戶，但這很可能會(huì)在這個(gè)過程中發(fā)生視覺異常。

為了解決這一挑戰(zhàn)，Grace Kuo表示：他們?cè)O(shè)計(jì)了一種光學(xué)架構(gòu)，可以直接捕捉與肉眼看到的光線相同的光線。

為了讓這個(gè)具有特殊架構(gòu)適配VR頭顯，Reality Labs Research團(tuán)隊(duì)從頭開始設(shè)計(jì)頭顯，最終得到了能夠?qū)崿F(xiàn)更好的穿透圖像質(zhì)量和更低的延遲的攝像頭。

Grace Kuo

Demo or Die：通往SIGGRAPH之路

長久以來，團(tuán)隊(duì)一直秉持著「要么展示，要么死亡」（Demo or Die）的精神。

Lanman介紹說，「Demo or Die」一詞起源于MIT媒體實(shí)驗(yàn)室，成千上萬的研究人員在那里學(xué)會(huì)了這個(gè)口頭禪。

他表示，關(guān)鍵是要使用demo來解釋「為什么」，而不是「什么」，比如為什么他們想要變焦、光場直通和HDR。

SIGGRAPH技術(shù)的核心，就是演示新興的、硬件驅(qū)動(dòng)的技術(shù)，鼓勵(lì)SIGGRAPH社區(qū)用他們的才能解決計(jì)算機(jī)圖形和交互方面的問題。

Starburst取得了令人振奮的成功，并斬獲了SIGGRAPH 2022的新興技術(shù)最佳展示獎(jiǎng)。

以下是一些團(tuán)隊(duì)希望告訴讀者的話——

直通是一項(xiàng)重要的技術(shù)，可以讓人們?cè)诖髦^顯時(shí)與周圍環(huán)境保持聯(lián)系。

通過構(gòu)建不受商業(yè)化產(chǎn)品限制的demo，我們可以測試新技術(shù)，展示VR中的不同體驗(yàn)。

我希望，嘗試過我們demo的人能夠一窺未來的VR會(huì)是什么樣子——即使頭顯的外觀與我們今天習(xí)慣的外觀大不相同。

——Grace Kuo

通過我們的工作，我希望人們可以從第一人稱的角度看到，VR可以為他們解鎖哪些體驗(yàn)和能力。

——Yang Zhao

雖然這種VR不會(huì)立即在商店里買到，但如果需求存在，技術(shù)繼續(xù)進(jìn)步，就很可能會(huì)有那樣一天。

——Olivier Mercier

「VR的可能性與目前市場上可用的功能之間存在很大區(qū)別。我們的兩個(gè)SIGGRAPH新興技術(shù)demo提供了一個(gè)獨(dú)特的機(jī)會(huì)，讓我們看到如果每個(gè)軸都被推到更高的質(zhì)量，在不考慮實(shí)際生產(chǎn)限制的情況下，可以創(chuàng)造出多么逼真的虛擬體驗(yàn)。

我希望那些計(jì)劃參加SIGGRAPH的人仔細(xì)看這兩個(gè)demo。SIGGRAPH是一個(gè)非常有才華的學(xué)術(shù)社區(qū)，如果只有一小部分成員將注意力轉(zhuǎn)移到這些挑戰(zhàn)上，都會(huì)推動(dòng)時(shí)間線，在VR/MR中開發(fā)更好的視覺體驗(yàn)。

對(duì)于那些SIGGRAPH以外的人，我希望他們從中尋求解決方案，來應(yīng)對(duì)這些跨越硬件和軟件的艱巨挑戰(zhàn)。

——Douglas Lanman

One More Thing...

那么，我們應(yīng)該選擇去工業(yè)界還是去研究實(shí)驗(yàn)室呢？

Lanman認(rèn)為，在研究團(tuán)隊(duì)中，可以構(gòu)建任何給定概念的原型。

但必須承認(rèn)，這些原型中的大多數(shù)并不會(huì)成為消費(fèi)產(chǎn)品，它們對(duì)于大規(guī)模生產(chǎn)是不切實(shí)際的，比如需要妥協(xié)產(chǎn)品尺寸、重量、成本或功率，或者需要等待幾種技術(shù)成熟。

以變焦為例，團(tuán)隊(duì)從1990年代的論文中了解了這個(gè)概念，2015年才首次開始研究，2018年開始公開談?wù)摗?/span>

在那段時(shí)間里，Oculus（現(xiàn)在的Meta Quest）作為一家初創(chuàng)公司快速發(fā)展，并推出了三代頭顯。

產(chǎn)品團(tuán)隊(duì)的責(zé)任是快速行動(dòng)，而只有研究界才擁有特權(quán)考慮未來某一天的事情，而不是現(xiàn)在需要發(fā)生的事情。

因此，在作為一名研究界科學(xué)家工作了二十年后，我的看法是：研究的主要職責(zé)是指出產(chǎn)品還欠缺什么。

沒有人要求變焦或解決會(huì)聚-調(diào)節(jié)沖突，光場直通或反向直通。

我們需要和更廣泛的SIGGRAPH社區(qū)儀器，實(shí)現(xiàn)計(jì)算成像概念，拉動(dòng)時(shí)間表。

近十年來，我們一直在討論新興的顯示技術(shù)，比如變焦。

雖然無法說出，何時(shí)這些技術(shù)能應(yīng)用于產(chǎn)品，但demo會(huì)說服大多數(shù)人：這些挑戰(zhàn)值得解決。