這究竟是怎么回事？

原來(lái)啊，阿里又整出新活兒——

MotionShop，能將視頻中的人物角色替換成3D形象，同時(shí)又不改變其他場(chǎng)景和人物。

比如，打工仔小豬打太極。

看到這有人已經(jīng)迫不及待了。目前已在ModelScope社區(qū)開(kāi)放試玩。

還有人建議說(shuō)在HuggingFace也安排一下，不然不懂中文的人怎么辦啊~

不過(guò)確實(shí)承認(rèn)，最近阿里的花活好多。

可免費(fèi)試玩

目前MotionShop可以免費(fèi)試玩，只需三步即可完成：

上傳視頻——確定目標(biāo)對(duì)象——選擇要替換的虛擬對(duì)象。

不過(guò)實(shí)測(cè)的時(shí)候發(fā)現(xiàn)，需要注意幾點(diǎn)。

首先上傳這個(gè)視頻，不能超過(guò)15秒，最好保證人物完整，而且也不能是剪輯而成。

換句話(huà)說(shuō)，需要一鏡到底，切換鏡頭就不行。

隨后選擇替換人物時(shí)，它會(huì)自動(dòng)選擇一個(gè)對(duì)象，然后看是否符合你的目標(biāo)對(duì)象。

目前可替換的虛擬形象只有四個(gè)。

最后就是比較漫長(zhǎng)的排隊(duì)等待時(shí)間……試用的人太多了吧。

如何實(shí)現(xiàn)？

來(lái)自阿里的研究團(tuán)隊(duì)提出了用3D人物替換視頻中角色的框架。

整個(gè)框架由兩部分組成：

1、用于提取修復(fù)背景視頻序列的視頻處理管線；

2、用于生成3D人物視頻的序列的姿態(tài)估計(jì)和渲染管線。

通過(guò)并行兩條管線并使用高性能的光線追蹤渲染器TIDE，整個(gè)過(guò)程能在

具體分為七個(gè)步驟。

第一步，角色檢測(cè)。使用基于Transformer融合文本信息與現(xiàn)有封閉集檢測(cè)器，實(shí)現(xiàn)零樣本對(duì)象檢測(cè)。通過(guò)優(yōu)勢(shì)選擇方法確定最終目標(biāo)區(qū)域。

第二步，分割與追蹤。成功檢測(cè)到目標(biāo)后，通過(guò)視頻對(duì)象分割跟蹤方法來(lái)像素級(jí)跟蹤目標(biāo)區(qū)域，這一方法是基于SAM模型的細(xì)化升級(jí)。

第三步，修補(bǔ)。視頻剩下區(qū)域進(jìn)行修補(bǔ)繪制。包括采用了遞歸流完成法來(lái)恢復(fù)損壞的流場(chǎng)，在圖像域和特征域都采用了雙域傳播法來(lái)增強(qiáng)全局和局部的時(shí)間一致性。

第四步，姿態(tài)估計(jì)。采用姿態(tài)估計(jì)方法 CVFFS 來(lái)估計(jì)穩(wěn)定的人體姿態(tài)。使用 SMPL 人體模型來(lái)表示三維人體。

第五步，3D人物生成。將估算出的形狀和姿勢(shì)重新映射到選定的三維模型上。

第六步，為了更自然真實(shí)的視覺(jué)效果，做進(jìn)一步光線處理和渲染，讓3D模型與原視頻更融入。比如使用TIDE引擎來(lái)渲染新的 3D 模型。它與精確的材質(zhì)系統(tǒng)相結(jié)合，并輔以運(yùn)動(dòng)模糊、時(shí)間抗鋸齒和時(shí)間去噪等算法。

最后，將渲染圖像與原始視頻合成，生成最終視頻。

感興趣的朋友可戳下方鏈接：

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary