Sora/可靈/海螺/混元等大PK!多場景對(duì)比,現(xiàn)在誰是最強(qiáng)視頻生成模型?
OpenAI的正式版Sora終于上線了!
不過,在Sora缺席的10個(gè)月里,Runway、可靈、海螺、混元等等模型都橫空出世,有的甚至都卷出了自己的特色風(fēng)格和功能,比如Runway的多幀修改、可靈生成的表情更加自然、海螺的二次元風(fēng)格等等。
接下來我們就來一起看看,Sora和這些模型的對(duì)比效果究竟如何吧!
Round1:對(duì)比Runway
Runway是美國目前最受歡迎的視頻生成模型之一,很多創(chuàng)作者已經(jīng)用它來進(jìn)行視頻生產(chǎn)了。
下面我們就一起來看看3個(gè)Runway Gen3與Sora的對(duì)比
場景一:羅馬教堂風(fēng)的視頻
先讓兩個(gè)模型都生成一些羅馬教堂風(fēng)的視頻,可以看出來兩個(gè)模型的重點(diǎn)不太一樣,Sora生成了一個(gè)會(huì)議的場景,而Runway生成的視頻更類似于節(jié)日聚會(huì)。
場景二:生成人物行走視頻
這次生成的是一個(gè)男人穿著圣誕衣服在冬天的雪地里行走,兩個(gè)模型的生成效果都很不錯(cuò),Sora生成的更有故事感一些,還有背景變換和鏡頭切換。
場景三:根據(jù)輸入的靴子圖片自動(dòng)生成視頻
這次Sora的表現(xiàn)就出現(xiàn)了一些反常識(shí)的現(xiàn)象,從靜止的靴子里面又出現(xiàn)了另一雙走動(dòng)的靴子,Runway生成的效果就好多了。
有網(wǎng)友看完也是立馬銳評(píng)到:看起來OpenAI是用UI設(shè)計(jì)來彌補(bǔ)模型效果不佳。
Round2:對(duì)比可靈
對(duì)比完兩個(gè)外國模型,把我們國產(chǎn)模型也拉出來比劃一下!
首先請(qǐng)出的是非常受歡迎的可靈模型,不僅是這次效果對(duì)比中有很多網(wǎng)友都用到了它,在過去的幾個(gè)月中可靈也收獲了很多用戶。
場景一:Sora VS 可靈 VS Runway
金毛狗狗在美術(shù)館中奔跑(Sora展示的官方場景之一)
三個(gè)模型在光影處理、動(dòng)物毛發(fā)光澤和運(yùn)動(dòng)姿態(tài)方面處理得都很優(yōu)秀,這一局有點(diǎn)難分上下,評(píng)論區(qū)里面喜歡Sora和可靈的都有。
場景二:Sora VS 可靈
根據(jù)輸入的圖片生成視頻,沒有提示詞。
可靈生成的視頻看起來似乎動(dòng)作更加流暢一些,不過Sora的畫面切換也是很有蒙太奇的感覺。
Round3:對(duì)比海螺、混元
國產(chǎn)模型還有更多選手申請(qǐng)出戰(zhàn)!
接下來有請(qǐng)海螺模型和混元模型上場。海螺自從推出以來就一直在VBench榜單上名列前茅,混元模型雖然開源不久,但是也有很多藝術(shù)家都進(jìn)行了創(chuàng)作嘗試。
下面一起看看他們的表現(xiàn):
場景一:Sora VS 可靈 VS 海螺,圖生視頻
這道題就是一個(gè)非常考驗(yàn)?zāi)P拖胂罅Φ念}目了,同樣是圖生視頻,三個(gè)模型根據(jù)一個(gè)人站在金字塔下的身影進(jìn)行視頻生成。Sora和可靈的主題都比較偏向“末世”的感覺,海螺有點(diǎn)“異世界”戰(zhàn)斗即視感。
場景二:Sora VS Runway VS 可靈 VS 海螺
輸入是“維京演員的情感表現(xiàn),攝像機(jī)推進(jìn)至演員皺眉的臉部”。
Sora生成的視頻中還有拍攝演員的視角變化,很有趣。可靈和海螺在處理面部表情時(shí)更加自然。
場景三:Sora VS 可靈 VS 混元
再來看看最后一個(gè)測試,讓模型們幻想月球上面宇航員的活動(dòng)。
可以看出來,每個(gè)模型都有自己的偏好,Sora的視頻鏡頭變化更多、可靈的場景更加細(xì)致、混元的更有故事感。
Round4:視頻忠誠一致性檢測
網(wǎng)友Shaun Ralston還用自己的貓貓測試了一下Sora生成視頻中物體的一致性。
首先來看看他的真貓寫真:
下面都是Sora根據(jù)輸入的圖像生成的AI貓貓圖像,看起來基本上和真實(shí)的貓差別不大,而且視頻中的動(dòng)作也非常自然。
One More Thing
Sora正式版推出之后,大家最關(guān)心的除了效果可能就是價(jià)格了。
目前Sora只向Plus會(huì)員(每月20刀)和Pro會(huì)員(每月200刀)開放。具體來看,Plus會(huì)員每月最多可生成50支視頻,720p分辨率最多生成5秒,480p分辨率可以生成10s。Pro會(huì)員每月可生成500支視頻,支持1080p、20s、同時(shí)生成5個(gè)視頻,還支持無水印下載。
但是,獨(dú)立電影制作人el.cine在X上發(fā)推表示,如果你想要用包含人物的圖像來生成視頻,這個(gè)功能目前只對(duì)Pro用戶開放!