什么是混合現實?定義、工作和應用程序
混合現實結合了真實和數字元素,使它們可以通過3D全息圖相互作用。
混合現實被定義為一種沉浸式技術,它將物理世界的元素與數字世界的元素結合起來,使它們能夠相互交互,通常是通過3D全息圖。本文定義了混合現實,描述了它是如何工作的,并解釋了這種新興技術的應用。
混合現實是一種沉浸式技術,它結合了物理和數字元素,使它們能夠相互交互。這通常是通過3D全息圖完成的。
繼大型機、個人電腦和手機之后,混合現實將是下一場計算革命。“混合現實”一詞是由PaulMilgram和FumioKishino在1994年的一項名為“混合現實視覺顯示分類學”的研究中提出的。
他們的工作調查了沉浸式虛擬連續體的概念和可視化的分類。從那時起,混合現實的使用已經擴展到包括地理映射和錨定,手跟蹤,語音輸入,以及3D資產的協作,以及顯示。
消費者和企業對混合現實的使用現在很普遍。它提供了與我們家里、工作場所以及同事之間數據的直觀連接,將我們從屏幕束縛的體驗中解放出來。
全球數以百萬計的互聯網用戶使用他們的移動設備體驗過混合現實。移動AR提供了當今社交媒體上最流行的混合現實解決方案。用戶可能不知道Instagram的增強現實(AR)濾鏡代表了混合現實體驗。
混合現實結合了數字世界和物理世界,使人類、計算機和環境之間的有機和直觀的3D交互成為可能。計算機視覺、圖形化實現、音頻和視覺技術、輸入法和云計算的發展促成了這一新的現實。
由于有效開發混合現實體驗的困難,我們仍然處于MR發現的第一階段。然而,前景是無限的。混合現實編程使數字事物能夠與實際環境交互,使個人能夠與虛擬方面互動,就像它們是真實的一樣。創造真正的MR體驗需要復雜的輸入傳感器以及軟件開發工具包(sdk)。
混合現實讓我們:
?加快創新:使用混合現實,施工或設計團隊可以簡單地生成項目的數字雙胞胎,并以最小的浪費和成本測試創新概念。有了MR,你可以很快地嘗試許多材料和概念。
?簡化協作:想象一下,能夠與相隔數百英里的同事一起構建一輛新汽車的全息演示。像VR和AR這樣的混合現實技術,使開發更具吸引力的共享和互動體驗成為可能。
?減輕工作量:混合現實耳機上的攝像頭可以實時向同事提供材料,允許專業人員對他們觀察到的內容(例如另一個團隊成員旁邊的機器圖片)發表評論,并提供清晰的實時指示。
?優化培訓和發展:混合現實提供了巨大的培訓和發展可能性。公司可以利用混合現實技術為所有情況下的個人開發沉浸式培訓和發展機會。這不僅有助于發展肌肉記憶,還可以減少與某些訓練情況相關的危險。
MR,VR,AR
虛擬現實、混合現實和增強現實正在改變我們的生活方式和工作環境。
?虛擬現實(VR)是一種計算機生成的、交互式的真實或人工場所或活動的表示。
?混合現實(MR)是現實世界和計算機生成組件的交互式表示或透視圖。
?增強現實(AR)是一種結合計算機生成裝飾的現實世界視角。
如今,外科醫生可以使用虛擬現實手術臺進行救生手術培訓。在AR眼鏡的幫助下,廚師可以在準備飯菜時看到詳細的說明。很快,巨大的混合現實倉庫將開始根據浮動包裝說明裝載裝運箱。
VR、AR和MR這三個術語通常是可以互換的。對許多人來說,虛擬現實是一個包羅萬象的短語,指的是計算機生成的、逼真的東西。然而,這些詞很容易區分。混合現實本身就是一種技術,具有自己的特性、功能和應用程序。
沉浸式體驗為混合現實提供了最具洞察力的視角之一。微軟(Microsoft)等沉浸式技術先驅認為,混合現實與虛擬現實和增強現實并駕齊驅。這個光譜也被稱為“虛擬連續體”。
在光譜的一個極端是物理的,現實世界的環境中,人類生活和與實際物體互動。由計算機程序和軟件構成的生態系統則處于另一個極端。
雖然你是在現實世界中,但你在虛擬現實(VR)中與之互動的大部分材料都是虛擬的。增強現實(AR)更接近物理現實,在物理現實中,你查看和交互的絕大多數信息都是真實的,幾乎沒有數字增強。與這兩種互補的技術相比,混合現實處于光譜的中心。
使用混合現實技術,你可以通過全息圖將虛擬內容放置在實際環境中,并與它們進行交互,就像它們在實際環境中一樣。通過生成虛擬形象并將信息通過云存儲發送到所有其他支持mr的空間,您還可以將自己沉浸在虛擬世界中。
混合現實如何運作
混合現實在云計算和人工智能的幫助下發揮作用。MR設備使用強大的AI傳感器、鏡頭、圖形處理單元(GPU)以及顯卡或核心芯片在三個軸或維度上處理和存儲數據。設備的功能越多,混合現實體驗就越好。例如智能眼鏡、手套、緊身衣和智能手機。
MR設備可以將消費者連接到無線或有線計算機、控制臺或PC以訪問軟件。該程序可以添加,復制或重新定位虛擬物品,以創建沉浸式環境。現代混合現實頭盔,如Hololens,可以生成高保真的設置,讓用戶參與虛擬活動,從而消除界限,將現實和技術分開。
除了耳機,以下是其他四種使用MR的設備:
1.智能手機和其他移動設備
隨著時間的推移,平板電腦和智能手機等移動設備的計算能力和移動性不斷增強。許多現代移動設備已經為MR應用程序開發了工具包。這些工具使開發人員能夠在現實世界的鏡頭上疊加計算機圖像。
雖然基于ar的娛樂應用程序已經被證明是有效的,但專業和實用應用程序已經開始包含MR元素。由于移動設備的普遍存在,其顯示技術是MR增長和接受的關鍵因素。
2.平視顯示器(HUD)
平視顯示器(HUD)將3D圖形直接投射到用戶面前,而不會明顯模糊他們的周圍環境。一個標準的HUD由三個部分組成:
?一個屏幕-負責疊加HUD的圖形,
?組合器-圖形被投影到的表面
?一臺計算機——將其他兩個組件結合在一起,執行任何必要的實時計算或調整
最初,原型hud在軍隊中用于協助戰斗機飛行員作戰。然而,它們最終演變為協助航空的所有要素。混合現實hud可以將3D圖像和數據可視化與運輸和移動車輛結合起來。
3.360度沉浸式環境(CAVE)
洞穴自動虛擬環境(Cave)是一個場景,在這個場景中,一個人被上方和下方的四面投影屏幕包圍。作為投影的補充,3D眼鏡以及環繞立體聲為用戶提供了一種旨在復制實際環境的透視感。自開發以來,工程師們已經使用CAVE系統,創建和測試混合現實產品原型。
4.頭戴式顯示器或MR眼鏡
頭戴式顯示器(HMD),放置在整個頭部或眼睛旁邊,是一種通過一個或兩個鏡頭將圖像直接投射到用戶眼前的設備。它廣泛應用于健康、休閑、航空航天和工程部門,并提供了傳統顯示器無法實現的視覺參與水平。
頭戴式顯示器在MR娛樂客戶中非常受歡迎。然而,大多數頭戴式顯示器仍然是虛擬現實顯示器,不包括實際環境。微軟的HoloLens是一款MR頭戴式顯示器(HMD),在醫學和工程領域都有應用。它讓臨床醫生對現實世界有了更深入的了解。MagicLeap公司開發了一款類似的設備,在私人和消費者市場都有潛力,它創造了一款出色的增強現實HMD。
除了包含前端體驗的顯示之外,環境感知和高級用戶輸入也為混合現實提供了動力。近幾十年來,輸入技術繼續塑造著人與計算機之間的界面。
人機交互(HCI)是一個新的研究領域,包括鍵盤、鼠標、觸摸、筆,甚至語音識別。傳感器技術和處理能力的進步正在創造基于HCI輸入技術的新的計算機感知設置。這就是為什么MR使用應用程序編程接口(api)來記錄一個人在真實環境、表面和極限、環境照明和物理位置中的身體位置。
創造真實的混合現實體驗需要整合三個基本元素:由云驅動的計算機處理、改進的輸入技術和環境意識。我們在物理世界中的行動被數字空間追蹤。在制造工廠中,物理邊界會影響混合現實,如游戲和基于任務的輔助。有了上下文輸入和感知,物理世界和數字世界開始融合。
混合現實的應用
以下是混合現實的一些最引人注目的應用:
1.讓體育和娛樂更讓粉絲身臨其境
開發人員目前正在開發其他混合現實應用程序,可以產生類似的體驗,比如在音樂會中,你最喜歡的表演者與數字道具互動,在足球游戲中,動作似乎發生在你的客廳里。美巡賽(PGATour)的球迷可以使用一款應用程序,該應用程序在幾年前將高爾夫球場渲染成3D。美巡賽還計劃將HoloLens用于賽事設置和高爾夫球場規劃,而球員可以在球場上第一次擊球前,利用混合現實準備自己的策略。
2.在遠程位置工作和協作
使用混合現實,任何組織的員工都可以與客戶或其他同事一起工作,即使他們不在同一個區域。在實時翻譯工具的幫助下,語言障礙將毫無困難地消除。如果視頻會議或Skype電話讓你印象深刻,那么混合現實會議將更具革命性。例如,美國國家航空航天局(NASA)與微軟(Microsoft)合作開發了OnSight項目,該項目使科學家和工程師能夠虛擬地出現在火星上。
4.在游戲中融入社交元素
在虛擬游戲中添加社交元素是MR在游戲中最受歡迎的使用案例之一。虛擬游戲通常將數字事物的體驗限制在頭戴式耳機的個人身上,導致了一種孤獨的游戲體驗。但是MR有潛力通過建立虛擬社區來克服這個問題。換句話說,許多玩家可以通過眾多的耳機和全息化身享受相同的游戲體驗。
5.提高電子學習中的知識保留和安全性
MR可以通過三維展示信息來增強在線學習。這種方法將幫助孩子們形成持久的記憶,更好地理解他們正在學習的東西。這一概念也可用于安全和健康以及工業維護和維修方面的培訓。這一策略幫助學生通過一種虛假的“親力親為”的方法獲得知識,而沒有損壞的危險。
更多信息:什么是空間分析?定義,工作和例子
6.提供全新而獨特的客戶體驗
MR可能有助于模糊實體店和網上購物體驗之間的界限。例如,通過機器學習和計算機視覺,移動零售應用程序將自動識別商店中的所有商品,并將其添加到用戶的購物籃中。用戶可以選擇購買這些物品,收藏它們以供后續購買,甚至與朋友分享。當使用MR眼鏡在這種情況下,你將能夠訪問書簽項目,評級,和更多的商店。MR還可以幫助消費者快速識別并從商店獲得他們需要的物品。
7.讓醫療更有效、更準確
磁共振技術在醫療應用程序中的應用有可能徹底改變醫療保健行業。通過AR和VR技術的結合,外科醫生將能夠更有效地治療他們的病人。他們將能夠使用混合現實技術研究3D患者的計算機斷層掃描(CT)或磁共振成像(MRI)圖像。這可能會幫助外科醫生找到要進行手術的確切身體部位,使他們能夠成功地進行手術。
8.改變政治集會和競選活動
政治事件就是能吸引大量觀眾的一個例子。在政治集會期間,官員們確保所有的安全防范措施都到位。然而,這些安排有時證明是不夠的。任何觀眾都有可能對公眾人物構成危險。在這種情況下,使用MR可能有助于防范意外事件。使用混合現實技術,政治演講者可以在遠程出現時安全地在集會上講話。
9.簡化生產和其他工業流程
公司正在工作場所嘗試數字孿生。數字孿生是為創建、評估和驗證而創建系統、流程甚至機器的非常逼真的副本的過程。
數字雙胞胎為技術人員提供了模擬和應對各種技術挑戰所需的知識。雖然數字孿生是在工業領域發展起來的,但它適用于任何領域。數字孿生還可以用于跨行業應用程序用例,如基礎設施和自動化。
10.打造更好的產品
在MR設備上使用3D建模應用程序,專家可以在虛擬環境中創建與他人共享的產品。這種全面的3D建模和協作形式允許工程師識別缺陷,并允許實時修改他們的想法。
協作平臺使管理人員能夠實時分析和檢查3D設計。MR越來越受歡迎的另一個原因是,它能夠將三維模型投射到各種建筑和材料上,而不需要3D打印的成本。這可以幫助工程師可視化進度和檢查設計質量。
結語
混合現實市場正在蓬勃發展。根據最大化市場研究(MMR)的數據,2021年全球MR市場價值8.11億美元。預計到2029年將超過15億美元,以驚人的44.5%的速度增長。這是由于混合現實在不同行業和垂直領域的多種應用,以及人機交互、人工智能和高速數據處理的進步。