本文介紹一種人類 - 場景交互合成方法

人類 - 場景交互（HSI）生成對于具身人工智能、虛擬現實和機器人技術等領域的應用至關重要。雖然現有的方法能夠在三維場景中合成逼真的人類動作，并生成看似合理的人與物體之間的交互，但這些方法嚴重依賴于包含配對的三維場景和動作捕捉數據的數據集。而在各種不同的環境和交互情況下收集這些數據既昂貴又耗時。本文介紹一種 ZeroHSI，通過整合視頻生成技術和神經人體技術，實現了零樣本的四維人類 - 場景交互合成。

模型介紹

本文提出的 ZeroHSI 方法主要通過整合視頻生成和神經人體渲染技術，實現零樣本 4D 人類 - 場景交互合成，具體步驟如下：

• HSI 視頻生成：基于渲染的初始狀態和文本提示生成人類 - 場景交互（HSI）視頻。利用先進的視頻生成模型，從學習到的豐富運動先驗中提取人類 - 場景交互動作，無需 3D 人類動作或交互數據。這一步驟利用了視頻生成模型在大量數據上學習到的通用運動知識，為后續的交互合成提供基礎。
• 通過可微神經渲染進行優化：運用可微神經渲染技術，通過最小化渲染視頻與生成的參考視頻之間的差異，來優化每幀的相機姿態、人體姿態參數以及物體的六維姿態。具體來說，使用 3D 高斯表示場景、對象和人體，在此基礎上計算渲染損失，進而調整相關參數。這一過程使得生成的交互動作在視覺上更加逼真，與參考視頻的一致性更高。
• 在潛在空間中優化結果：在 VPoser 的潛在空間中對上述優化結果進一步處理，以提升生成動作的物理合理性。通過在潛在空間中的調整，使得生成的人類動作更加符合現實世界中的物理規律，避免出現不合理的動作姿態或交互效果。
• 數據處理與表示：在整個過程中，采用合適的數據處理和表示方法。如對場景、對象和人體使用 3D 高斯表示，這種表示方式有助于在渲染和優化過程中更準確地模擬和調整它們的形態和位置，從而提高交互合成的質量和效率。

實驗結果

• 動多樣性豐富：與 TRUMANS、LINGO 和 CHOIS 等基線方法相比，ZeroHSI 可以生成更加多樣的人類 - 場景交互動作。它能夠捕捉到不同風格、不同方式的交互行為，使得合成的交互場景更加生動和真實。這對于模擬現實世界中復雜多樣的人類行為非常重要，能夠滿足不同應用場景對于豐富交互動作的需求。
• 物理合理性較高：通過在 VPoser 的潛在空間中對結果進行優化，ZeroHSI 生成的動作在物理層面上更加合理。動作的姿態、力度和運動軌跡等方面都更符合現實世界的物理規律，避免了出現不自然或違背物理常識的動作。比如在與物體進行接觸和操作時，動作的力度和方式能夠合理地反映出物體的質量、形狀等屬性。
• 零樣本合成優勢：ZeroHSI 方法最大的優勢在于實現了零樣本的 4D 人類 - 場景交互合成，無需依賴包含配對 3D 場景和動作捕捉數據的數據集。這大大降低了數據收集的成本和時間，同時也使得該方法能夠在更廣泛的場景和對象上進行應用，具有更強的泛化能力。

文轉載自公眾號瓦力算法學研所，作者：喜歡瓦力的卷卷

原文鏈接：??https://mp.weixin.qq.com/s/y1VtUO1hVvb7oFdobqPl8w??