孿生世界動態仿真新突破！北大發布RainyGS：降雨/洪澇/風速精準可控

作者：新智元 2025-04-09 13:25:34

北京大學陳寶權教授團隊提出RainyGS技術，通過結合物理模擬和3D高斯潑濺渲染框架，實現了真實場景中動態雨效的高質量仿真與呈現，真正實現「從真實到真實」，或者「以仿真亂真」，即Real2Sim2Real ！相比現有的視頻編輯工具（如 Runway），其物理真實性獲得保證。

神經輻射場（NeRF）及三維高斯潑濺（3D Gaussian Splatting，3DGS）雖能構建靜態數字孿生，卻無法模擬真實世界的動態，不僅限制了虛擬現實和混合現實的真實感，也是智能訓練與Real2Sim2Real范式突破的關鍵瓶頸。

如何讓數字孿生世界具備真實物理規律，實現可預測、可操控的動態環境，是自動駕駛、具身智能等空間智能應用亟待解決的核心挑戰。

為此，北京大學陳寶權教授研究團隊提出RainyGS技術（合作者為楚夢渝、陳文拯助理教授，博士生戴啟宇、倪星宇和本科生沈千帆），探索了一條通向「孿生世界動態仿真」的新路徑。

目前，該成果已被CVPR 2025接收。

論文地址：https://arxiv.org/abs/2503.21442

項目主頁（內附原始高質量視頻）：https://pku-vcl-geometry.github.io/RainyGS/

RainyGS基于高精度表面表達，統一構建孿生世界的幾何重建、高效渲染、準確仿真及精準交互，奠定了以高質量表面表達為核心的孿生世界動態場景生成新范式。

以降雨、洪澇等復雜流體現象為案例，RainyGS借助3DGS的高效表面表達，融合物理仿真與實時渲染，實現了「從靜態到動態」的無縫擴展，不僅能夠為重建場景帶來逼真的動態雨效，精準呈現雨滴軌跡、水面波動、光線折射等物理現象，還支持用戶「動態調節雨量、風速、流向」，創造從細雨朦朧到暴雨傾盆的可控動態環境。

RainyGS并不僅僅是面向增強現實的動態場景生成技術，同時也代表了Real2Sim2Real的重要進展：RainyGS讓數字孿生世界不僅能「看見現實，呈現現實」，更能感知并預測物理變化，突破了傳統仿真工具在場景逼真多樣、高效性與交互性等方面的局限。

以自動駕駛為例，RainyGS能在真實場景里自動生成高逼真的雨天、洪澇等訓練數據，并提供完備的時空標簽，為無人駕駛系統在多變天氣下的安全性與可靠性提升提供堅實支撐。

此外，RainyGS還能為具身智能體提供更加豐富的動態交互訓練環境，推動空間智能技術的進一步發展，為自動駕駛、機器人、智慧城市等「空間智能」領域帶來全新可能。

從多視角圖像重建高保真的三維場景，RainyGS能夠高效生成具有高真實感的動態下雨效果

為什么「動態」這么難？

在孿生場景中添加下雨等動態現象聽起來似乎簡單，但實際卻極具挑戰。

日常的降雨現象包含雨滴在空中降落、在積水表面形成漣漪、水面層層波動等動態，包含濕潤場景的反射折射等視覺現象，這些都意味著大量的計算。

當前，部分工作選擇將3DGS同傳統的三維空間仿真技術相融合，這往往意味著要將3DGS的表面表達轉化為只含幾何信息的三維空間表達（如Grid體素網格、四面體mesh網格、粒子系統等等）來仿真，而渲染時又需要將數據轉換回去。

這一數據的往復轉換正是其中的瓶頸：為了保證三維空間仿真能夠高效完成，3DGS高精度表面表達往往被轉換為低分辨率的全空間表達，導致幾何精度下降但計算資源飆升。

這種精度「降低」但數據量「升維」的操作不僅大量消耗計算時間空間，更因插值誤差破壞信息一致性：高精度表面信息被浪費，低質量插值數據引入誤差，最終讓動態和渲染呈現的真實感降低，使得許多工作無法同時滿足高保真和實時性需求。

RainyGS的破局之道：基于表面統一表達物理和外觀

RainyGS的創新之處在于，它以表面表達為核心，巧妙融合了幾何重建、仿真與渲染，在場景的多種計算之間，實現了無冗余且無精度損失的信息傳遞。

借助表面表達，RainyGS無需復雜的人工干預，也不額外引入信息插值和誤差，完美的保留了3DGS的像素級精度，又規避全局空間仿真的計算災難。

這種「從圖像到GS表面，從GS表面到表面物理計算」的表達閉環，突破性地實現了動態雨水的高效高保真呈現。

現有大模型等視頻生成技術雖能合成逼真雨景，卻常常犧牲物理規則——雨滴穿透墻體、積水無視重力、被遮擋物體「閃爍」跳變。

RainyGS的動態效果與輸入場景的幾何、材質嚴格綁定：雨滴在積水表面撞出波紋、水流沿地面坡度自然擴散、濕潤表面折射率隨水深漸變。

這種基于表面表達的精細物理計算，使虛擬降雨的每一幀都具備可測量的真實性與三維一致性，為自動駕駛仿真、災害推演等場景提供像素級可信的動態孿生。

與視頻生成大模型的對比。現有的視頻編輯方法（如 Runway Video2Video）通常難以保持輸入場景的幾何結構，并且缺乏跨視角的三維一致性（例如，被遮擋區域在重新出現時可能發生變化），生成的下雨效果也難以保證物理真實。相比之下，RainyGS 不僅能夠保持輸入幾何結構及其跨視角一致，還能生成逼真且動態變化的下雨效果

利用基于表面的表達統一場景建模和動態生成的方法論。物理現象的本質是相互作用，多種相互作用（包括可形變固體和流體等等）可以等效或近似為能通過邊界方程加以控制的表面效應。而邊界方程可以自然地通過高斯橢球中提取而來的表面點云離散化

值得一提的是，RainyGS所采用的以表面表達統一渲染、仿真與幾何建模技術，其背后有堅實的理論支撐，具備較好的普適性，有潛力支撐大量動態現象的呈現。

物理動態主要描述的是物質間的相互作用規律，而這些相互作用往往通過表面來體現，如固體的形變、流體的波動等等表面效應，可以利用幾何和物理推導，精確地使用邊界方程進行描述。

通過離散和求解表面方程，計算機圖形學領域已研究有一系列以表面為核心的仿真算法，如可變形物體的靜力學仿真、動力學仿真，如流體的表面張力構形、水波波動等等。

這種以表面來仿真、表達世界的范式來源于表面作為物理交互「第一現場」的本質屬性，與高斯表達完美契合，蘊含著高效統一多種動態及呈現的巨大潛力。

RainyGS：幾何、光照與物理動態的完美結合

RainyGS 框架示意圖。首先通過輸入多視角圖像，對場景的外觀與幾何進行高保真重建。隨后生成高度圖，并利用淺水模擬實現動態下雨效果（包括積水、漣漪、雨線等）。接著，在 3DGS 光柵化渲染的深度圖、法線圖等屏幕空間貼圖的基礎上，采用高效的屏幕空間光線追蹤來模擬反射與折射。最后，基于圖像的渲染（IBR）將各分量進行混合，生成逼真、動態的降雨場景

RainyGS的核心在于將基于物理的雨滴和淺水模擬技術與快速的高斯潑濺渲染框架相結合，實現了真實場景中動態雨效的高質量呈現。其核心技術架構包含三大關鍵模塊：

緊致的信息提取

基于高斯表面投影實現場景高度場的無損提取, 服務于后續高精度的物理仿真；

基于高斯表達高效渲染幾何屬性，如場景的深度圖、法向圖，服務于后續高保真的屏幕渲染；

相比于其他復合表達的工作，我們的數據表達做到了完美契合，既保證轉換信息無冗余，如僅提取二維高度場而非三維空間幾何，同時保證數據轉換中精度一致，減少誤差。

精準的物理建模

基于淺水波方程（SWE）精確模擬雨滴與地面的動態交互；

實時計算雨滴軌跡、漣漪擴散等復雜物理現象；

支持動態調整降雨強度，從朦朧細雨到傾盆暴雨無縫切換。

高效的外觀渲染

引入屏幕空間光線追蹤技術，精準還原水面反射與折射效果；

依托三維高斯潑濺（3DGS）和基于圖像的渲染（IBR）框架實現每秒30幀的實時渲染。