人工智能（AI）加持下的虛擬現實（VR）技術已經逐漸發展成了一個橫跨多個領域的交互式媒介，可以為用戶提供前所未有的沉浸式體驗。在眾多應用場景中，醫療被認為是最具發展潛力的領域。

論文地址：https://www.ijcai.org/proceedings/2024/920

項目地址：https://github.com/yixuan730/Awesome-Virtual-Reality-in-Medicine

在本篇工作中，來自浙江大學、香港中文大學深圳以及圣母大學的研究人員對醫療領域的虛擬現實技術進行了全面的審視，并進行系統性的分類。

其中，吳逸璇與胡凱源為共同第一作者。

背景介紹

人工智能技術和虛擬現實技術的交叉融合是醫療領域中一個新興的前沿方向，人工智能技術和虛擬現實技術將當前數據驅動的分析和沉浸式的醫學診斷相結合，使之成為當前醫療保健領域中的關鍵研究方向。

該項綜述的目的是深入探討AI加持下的虛擬現實技術在醫療場景中的技術細節、工作流程，以及下游應用，同時評估其對醫療服務效率、準確性和有效性的影響。

為了系統性地理解和分析AI在醫學虛擬現實的應用，本文提出了一個全新的分類方法，將當前相關領域的工作分類三個主要類別：醫學視覺增強、VR醫學數據處理，以及VR輔助干預。這種分類方法幫助我們全面了解當前醫療VR場景下AI技術的最新進展：

醫學視覺增強：著重于提升醫療人員在虛擬空間中的視角感知，有助于幫助醫療人員理解錯綜復雜的解剖結構以及空間關系。該類別分為兩個子領域：虛擬物體重建和虛擬視覺增強

VR醫學數據處理：主要探討當前VR系統對于分析和理解復雜醫學數據的能力，這一類別討論了VR在AI的融合下，如何輔助深入的結構和病變分析、提升診斷能力，以及對外殼手術的各個階段提供相應支持。主要關注從傳統2D數據到更加動態的3D數據的分析方法的轉變。

VR輔助干預：該領域主要介紹和分析當前AI驅動的VR技術在實時互動的醫療場景中的實際應用。該類別涵蓋了VR技術在手術過程中的直接指導和輔助以及手術過程中的交互式合作兩個方向的分析和討論。

該篇工作為AI加持下的醫療場景VR技術的首次系統性的調查，為未來該學科領域的研究奠定了基礎。

上圖展示了AI加持下的VR輔助醫療的工作流程：

首先，醫學視覺增強關注在虛擬或增強現實場景中，提升醫療人員的視覺和感知。

隨后，VR醫學數據處理討論了虛擬現實技術如何與AI結合，以此輔助對機構和病變的分析，增強疾病診療能力，并在全手術流程中提供支持。

最后，VR輔助干預涵蓋了如何利用VR技術對手術過程直接提供指導和輔助，以及促進醫療人員在醫療干預過程中的互動合作。

分類方法

本文通過分類法將具有相似目標的AI增強的虛擬現實技術在醫療場景中進行分類，以便深入進行研究。

作者根據診斷和治療的程序，將當前最新的方法和應用分類為三個不同的類別：醫學視覺增強、VR醫學數據處理，以及VR輔助干預。具體分類方法如下圖所示：

醫學視覺增強

AI技術的飛速發展為VR平臺提供了在診療過程中增強醫療人員視覺感知的能力。視覺增強技術可以分為一下兩個子類：虛擬物體重建和可視化增強

虛擬物體重建：通過AI增強的重建方法，使得醫療人員以更加直觀的方法查看醫療數據，提升其對于復雜解剖結構的感知和理解。通過在虛擬環境中對現實對象進行重建（如器官、解剖結構等），醫療人員可以更加清晰、全面地了解患者的狀況，有助于進行進一步的治療規劃和決策。目前，基于機器學習的前沿重建方法主要可以分為兩類：生成式模型以及神經隱式函數。

例：基于深度信息的全場景手術室重建

可視化增強：專注于改善醫療人員在培訓或手術階段的視覺感知。此類技術通過讓醫療人員沉浸在增強現實或虛擬現實手術場景中，為他們提供增強的視覺感知，使得他們能夠以更高的精度執行治療程序，從而提升治療效果。該領域主要涉及兩個方面：渲染方法提升以及視覺感知增強

例：基于點云超分和點云補全方法對原始的手術桌重建進行質量提升

VR醫學數據處理

虛擬環境中的增強視覺為醫療數據處理提供了額外的分析能力。利用虛擬現實技術的沉浸式和交互式的特性，醫療人員能夠獲取額外的視覺信息輔助，突破傳統場景下2D數據在各類醫療場景下的限制。具體分類如下：

結構和病變分析：在醫療場景中，使用各種數據格式，如點云、網格、體素等（具體分類如下表所示），使得AI加持下的VR系統能夠對解剖結構和病變情況進行更加全面的分析，從而為準確診斷提供額外的感知信息。

疾病診斷：基于對虛擬現實場景的醫療數據進行全面的分析，可以為多種分析診療方法打下基礎，如語義分割、特征提取以及知識嵌入。

術中支持：在數據分析和診斷的基礎上，基于VR醫學數據的分析對手術過程中的準確性和有效性實現了提升，當前工作涵蓋多個方面，包括：術前規劃、術中跟蹤識別和術后分析反饋。

多種三維醫療數據的對比和可視化結果

VR輔助干預

基于AI增強的可視化和分析技術，VR輔助干預展示了其在診療和手術階段中增強醫療人員能力的巨大潛力。

本章節主要討論虛擬現實技術如何在術中直接為醫療人員提供指導以及以交互和協作的方式為醫療人員提供反饋。

術中干預：通過將AI加持的診療功能集成在虛擬現實平臺中（如物體分割、手術階段識別等），在手術過程中直接為醫療人員提供指導或協助。該項技術包含整合多模態的數據輸入和多平臺融合。

交互式協作：利用人機交互技術為診療人員提供交互式的術中反饋。最近的視覺問答（VQA）和視覺問題定位回答（VQLA）技術在這一領域中發揮了關鍵作用。

當前挑戰與未來展望

當前挑戰

數據與集成：高質量、多樣化的數據集對于訓練高性能的AI模型至關重要，然而，目前AI驅動的醫療虛擬現實技術所需的訓練數據依舊稀缺和碎片化。同時，將AI-VR融合方法集成到現有的醫療保健系統，是一項復雜困難的工作。

倫理和法律：患者隱私、數據安全以及知情同意在AI輔助醫療領域格外重要，AI-VR系統必須確保患者的隱私和安全。此在，該領域產生錯誤時的責任問題仍未解決，使得醫療服務提供者、技術人員和患者面臨的法律問題更加復雜。

用戶接受度：AI系統的“黑盒”特質可能會影響用戶的信任和接受度，因此，醫療人員通常需要理解AI輔助診療背后的決策過程。此外，為各類用戶設計用戶友好的界面，克服醫療人員和患者對于新技術的恐懼感，對于AI-VR輔助醫療的落地至關重要。

未來展望

沉浸式醫療：AI算法的發展進一步幫助VR技術在沉浸式醫療場景提供更加準確高效的解決方案。例如，在VR醫療場景中整合自然語言處理（NLP）模塊，增強對患者語音和病例的理解。

定制的醫療干預手段：利用AI算法對用戶在VR場景中的互動進行分析，從而定制治療方法、進行決策，該種方法在心理保健場景下尤為適用。

AI增強的實時診療分析：AI加持的虛擬現實技術具備改變遠程醫療和醫療培訓的潛力，尤其是在資源匱乏的地區。通過實時數據分析，AI平臺可以提供實時的診療支持，輔助診療過程中的決策，增強醫療保健環節的可及性和公平性。