AI、6G與元宇宙?愛爾蘭東理發表最新《人工智能和6G與元宇宙:基本原理、挑戰和未來研究趨勢》綜述
自從Facebook被重新命名為Meta之后,關于什么是元宇宙(Metaverse),它是如何工作的,以及利用它的可能方法,大量的關注、辯論和探索都在加劇。
預計元宇宙將是一個快速出現的技術、用例、能力和體驗的連續體,將彌補互聯網的下一次演進。
為此,來自愛爾蘭東南理工大學對AI、6G以及兩者在實現元宇宙的沉浸式體驗中的作用進行全面和深入的綜述。
論文地址:https://arxiv.org/abs/2208.10921
首先,作者介紹了增強現實(AR)、虛擬現實(VR)、混合現實(MR)和空間計算的背景和進展,然后介紹了AI和6G的技術方面。然后,作者通過回顧深度學習、計算機視覺和邊緣AI的最先進技術調研了AI在元宇宙中的作用。
接下來,作者調研了B5G/6G對元宇宙有前景的服務,隨后確定了AI在6G網絡中的角色,以及AI在6G網絡中支持元宇宙應用的角色。最后,作者描述了現有的和潛在的應用、用例和項目來突出元宇宙中進展的重要性。
此外,為了向研究人員提供潛在的研究方向,作者列舉了從上述技術的文獻綜述中發現的挑戰、研究差距和經驗教訓。
引言
2021年,元宇宙開始影響現實世界,原因有: i) 疫情的生活方式,以及 ii) Meta、亞馬遜、蘋果、Netflix和谷歌(MAANG)為他們的用戶發布了與元宇宙相關的功能和項目。
自那以后,元宇宙獲得了學術界和工業界的絕對關注。在當前的時間點上,元宇宙可以被普遍視為一個擴展的現實(XR)空間池,其中人類和他們的數字對等體以完全沉浸式的方式交互。
根據最近的一項調研,大多數技術專家認為,到2040年,元宇宙的運行將更加完善和無縫,世界各地的人們將能夠充分參與到它的全沉浸式能力中,作為他們日常生活的一個組成部分。
從本質上講,元宇宙預計將整合網絡空間或萬維網的所有重要方面,如B5G/6G、云計算和邊緣計算、社交媒體、在線游戲、增強現實(AR)、虛擬現實(VR)、加密貨幣以及人工智能(AI)/機器學習(ML)/深度學習(DL)平臺和應用,讓用戶虛擬地進行交互。
元宇宙的一些早期應用,如Roblox、VRChat、Zepeto或Second Life,已經允許用戶生活在「不同的」或模擬的生活中,比如交朋友和與新的虛擬人物社交。這些平臺已經將AR、VR和MR作為元宇宙的幾個元素。
虛擬現實技術是利用頭戴式顯示器(HMD)等各種軟件和通信設備,用計算機生成的數字場景取代用戶周圍的真實世界。而在AR中,虛擬世界與現實世界無縫連接,以創造新的互動體驗。最后,MR作為AR和VR及其底層技術的結合而出現。
值得注意的是,這些技術的普及使得AR和VR設備以合理的價格普及,同時不斷提高用戶體驗的質量(QoE)。
然而,為了達到VR服務所需的處理能力和通信速度,以提供流暢和沉浸式的體驗,大多數HMDs仍然要求用戶連接到PC或游戲控制臺。唯一能夠擺脫這種束縛的設備是Meta的Oculus Quest。在接下來的幾年里,隨著處理器變得更快,無線通信技術變得無延遲,視覺內容和移動設備的無連接體驗將會有許多改進。
特別是隨著5G的存在,連接到網絡的設備將會激增,這將對元宇宙的增長產生深遠的影響。5G以低延遲實現了所有連接設備之間的實時通信和信息交換。
顯然,5G比4G提供更快的速度,但最重要的是,它提供了各種各樣的其他好處,超出速度。具體來說,元宇宙開發者將能夠通過創建應用,近實時地傳輸360?的內容,從而受益于5G的低延遲。
元宇宙還將促進以人為中心/數據為中心的智能系統的發展趨勢。這一趨勢對現有的5G通信系統造成了許多限制,使其效率降低,不可靠。
例如,考慮到基于觸覺的元宇宙應用如隱形傳態或遙操作的0.1ms延遲要求,5G只能提供小于1ms的空中接口延遲,這對于這樣的應用來說是微不足道的。
此外,根據思科,移動數據流量在過去5年增長了17倍,并有望繼續增長。特別是,到2022年,5G流量將占全球移動流量總量的12%。
5G網絡被設計成能夠覆蓋大范圍的頻譜,如毫米波(高達300 GHz),因此可以處理大量的無線流量。
由于元宇宙將帶來一些可能需要高于Tbps的數據速率的應用,而mmWave系統則不太可能出現這種情況,如全息臨場感(HT)、觸覺感覺通信、腦機接口(BCI)和XR。因此,為了實現Tbps數據速率的目標,研究人員開始探索太赫茲(THz)頻段(0.1-10 THz)。
6G通信系統有望提供1Tbps的數據速率,運行在3Thz的帶寬下,以支持在線游戲、高清視頻直播、全息內容傳輸、實時化身互動等數據密集型應用。6G還將提供無處不在的覆蓋和超低延遲(小于1ms),并通過集成空間、空中、地面、海洋網絡,支持約100公里/小時的機動能力。
然而,虛擬教育和培訓、精確導航和定位、沉浸式游戲和遠程醫療應用等元宇宙應用都將通過AI和6G實現,使元宇宙更加成功。特別地,計算機視覺的尖端技術可以用來提供三維動畫人體模型或逼真的動畫人臉,甚至可以用來創建全息圖。
然而,將3D內容用于元宇宙服務的關鍵挑戰在于現有基礎設施的可擴展性。因此,元宇宙的崛起使得開發關鍵工具和基礎設施至關重要,使元宇宙開發者能夠構建更好、更可擴展的3D/AR/VR體驗,而不管平臺或目的。
原則上,研究人員需要從人工智能的監督學習范式中邁出一步,采用強化學習和自監督學習等多樣化的學習策略,以便在元宇宙環境中進行擴展。此外,6G網絡的邊緣計算能力可以與AI相結合,提供邊緣智能,從而減少元宇宙中增強的QoE的網絡延遲和隱私問題。
受現有技術和可預見的挑戰的驅動,作者在元世界的背景下調查了AI和6G的最先進技術,以回答以下問題: 如何利用AI、6G和兩者之間的持續進展提供更好和可持續的元世界體驗?
從上述討論可以清楚地看出,現有的一些調研集中在AI、6G和相關技術的非常狹隘的視角,而其他一些調研了元宇宙在社會、經濟和數字價值方面的作用。與之相反,在本綜述中,作者提供了以下關鍵貢獻:
- 作者描述了元宇宙的底層組件,即VR、MR、AR和空間計算。本文介紹了上述技術的詳細背景,以便讀者了解技術方面和最先進的技術,從而實現完全沉浸式的元宇宙。
- 作者對人工智能的最先進技術進行了廣泛的綜述,并研究了人工智能在實現元宇宙中的作用。從本質上講,作者定義了人工智能在元宇宙分層架構中的角色,其次是計算機視覺應用的最先進技術,學習范式和元宇宙的邊緣人工智能。
- 作者通過首先回答以下關鍵問題來解釋B5G/6G在實現元世界中的作用: i) B5G/6G需要一個小時嗎? ii) B5G/6G能給元宇宙帶來哪些服務?接下來,通過專門考慮5G-NR、URLLC、mmWave、MEC、thzcomm及其相互作用,作者回顧了沉浸式體驗和無線全息遠程呈現的最新技術。
- 作者還考慮AI和6G在實現元宇宙方面的綜合作用。原則上,作者研究了AI用于6G網絡和6G網絡用于AI支持元宇宙的潛力。接下來,作者將在前面提到的技術環境中調研元宇宙的可持續性,然后是潛在的應用和用例以及正在進行的項目。最后,作者提出了挑戰和未來的研究方向以及從這次調研中獲得的經驗教訓。?
術語「Metaverse」是前綴「meta」(意思是「超越」)和后綴「verse」(「宇宙」的縮寫)的組合。因此,它指的是物質世界之外的宇宙。這個「超越宇宙」暗指一個計算機生成的環境,而不是形而上學或神秘的概念領域超出物理現實。
元宇宙是完全沉浸式的三維數字環境,與網絡空間不同,網絡空間指的是所有在線空間。
元宇宙指的是物理現實向數字領域的轉化,所以它可以是物理現實和數字領域的混合,如AR、VR、MR。
可持續元宇宙
參考資料:https://arxiv.org/abs/2208.10921