EchoMimic V2：AI 數(shù)字人的新里程碑！首次實現(xiàn)身體動作口型全同步！
EchoMimic V2是阿里達摩院開源的一款基于音頻驅動的肖像動畫生成工具。
這一工具不僅能讓虛擬形象開口說話，實現(xiàn)口型同步，還能在音頻驅動下添加頭部和身體動作，將數(shù)字形象的表現(xiàn)力提升到一個全新的高度。
如果你對AI數(shù)字人、AI配音、AI動畫等制作感興趣，那么EchoMimic V2絕對是一個不容錯過的工具！
主要特點
(1) 音頻驅動的半身人物動畫
- 支持通過音頻驅動生成逼真的半身人物動畫效果，適用于多種應用場景，如數(shù)字人直播、虛擬主播、視頻編輯、AI配音等。
- 實現(xiàn)音頻驅動的人物說話、表情和肢體動作的協(xié)調一致。
(2) 引人注目的動作表現(xiàn)力
通過新穎的音頻姿勢動態(tài)協(xié)調策略，包括姿勢采樣和音頻擴散，增強半身細節(jié)、面部和手勢表現(xiàn)力。
(3) 簡化的生成流程：
減少條件冗余，簡化生成流程，提高模型的實用性和靈活性。
實現(xiàn)策略
(1) Audio-Pose Dynamic Harmonization策略：
- Pose Sampling：通過姿態(tài)采樣技術，增強半身細節(jié)和面部及手勢的表現(xiàn)力。
- Audio Diffusion：利用音頻擴散技術，進一步提升動畫的自然性和連貫性。
(2) Head Partial Attention：
為了彌補半身數(shù)據(jù)的稀缺，使用頭部部分注意力機制，將頭像數(shù)據(jù)無縫集成到訓練框架中。在推理階段，這一部分可以被省略，從而提供一個“免費午餐”給動畫生成。
(3) Phase-specific Denoising Loss：
設計了特定階段的去噪損失函數(shù)，分別指導動畫在不同階段的運動、細節(jié)和低層次質量。
核心亮點
(1) 數(shù)字人全方位進化
相比 V1 僅支持數(shù)字人，V2 將動畫范圍擴展到自定義人物，提供從頭部到身體的完整動畫表現(xiàn)：
- 表情與嘴型同步：輸入一段音頻，即可讓虛擬角色匹配語音內容精準“開口說話”。通過音頻驅動，實現(xiàn)口型與語音內容的高度同步，使虛擬角色的對話更加自然和真實。
- 頭部與手勢動作：通過參考手勢視頻生成連貫自然的動作效果。不僅限于面部表情，還包括頭部和手勢動作，打造更具沉浸感的數(shù)字人。動作流暢、自然，增強了虛擬角色的表現(xiàn)力和互動性。
(2) 簡單易用
只需提供以下三項內容，即可輕松生成高質量動畫：
- 參考圖像：用戶上傳任意照片作為虛擬角色的基礎。參考圖像可以是任意人物的照片，系統(tǒng)會根據(jù)該圖像生成相應的虛擬角色。
- 音頻剪輯：用于驅動嘴型和表情動畫。輸入的音頻內容將直接影響虛擬角色的口型和表情，確保動畫與語音內容的高度一致。
- 手勢視頻：為動畫添加豐富的身體動作與動態(tài)細節(jié)。手勢視頻可以是任何包含手勢動作的視頻片段，系統(tǒng)會參考這些動作生成自然的身體動作。
快速上手
(1) 硬件要求
- 英偉達顯卡：建議使用16GB顯存，較小的顯卡也能運行，但是性能會有所下降。
- Python版本：需要Python 3.10及以上版本。
(2) 部署步驟
① 下載項目包：
git clone https://github.com/antgroup/echomimic_v2
cd echomimic_v2② 設置python環(huán)境
- 測試系統(tǒng)環(huán)境：CentOS 7.2 / Ubuntu 22.04
- 測試GPU：A100(80G) / RTX4090D (24G) / V100(16G)
- 測試Python版本：3.8 / 3.10 / 3.11
創(chuàng)建conda環(huán)境（推薦）
conda create -n echomimic python=3.10
conda activate echomimic③ 安裝依賴包
pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0④下載和配置ffmpeg-static
wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-64bit-static.tar.xz
tar -xvf ffmpeg-release-64bit-static.tar.xz
export FFMPEG_PATH=$(pwd)/ffmpeg-4.4-amd64-static⑤ 下載預訓練權重模型
git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights預訓練權重目錄結構
./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── pose_encoder.pth
├── sd-vae-ft-mse
│ └── ...
├── sd-image-variations-diffusers
│ └── ...
└── audio_processor
└── tiny.pt⑥ 啟動Gradio界面
python app.py運行上述命令后，會啟動一個Gradio界面。
- 在Gradio界面上，可以上傳一張參考圖像（你自己的頭像或任何人物照片）。
- 上傳一段音頻剪輯，EchoMimic V2會根據(jù)音頻制作出相應的口型同步動畫。
- 上傳一段手勢視頻，系統(tǒng)會生成與音頻相匹配的身體動作。
- 系統(tǒng)將根據(jù)提供的參考圖像、音頻剪輯和手勢視頻生成完整的動畫視頻。
(3) 附錄
- GitHub倉庫：https://github.com/antgroup/echomimic_v2
- 在線Demo：https://huggingface.co/spaces/fffiloni/echomimic-v2
實例效果
