人手一部「小電影」!視頻版Midjourney免費(fèi)可用,一句話秒生酷炫大片驚呆網(wǎng)友
翹首以盼了三個(gè)月,Runway的Gen-2終于可以免費(fèi)體驗(yàn)了!
可以說(shuō),這是AI視頻工具發(fā)展史上值得載入史冊(cè)的一天。
試用地址:https://app.runwayml.com
這個(gè)AI工具,能用文本和圖片迅速生成4秒的視頻。也就是說(shuō),生成視頻的方式,完全就是「無(wú)中生有」。
看完下面這個(gè)demo,直讓人驚呼:導(dǎo)演和演員是真要被一鍵淘汰了?
激動(dòng)的網(wǎng)友們紛紛跑去實(shí)測(cè),感想就是:效果太炸裂了,這個(gè)AI是瘋了嗎?
唯一遺憾的就是,目前生成的視頻只有4秒鐘。(但如果前后的畫(huà)面不突兀,多拼接幾個(gè)4秒的視頻,其實(shí)也夠了)
激動(dòng)的心,顫抖的手,經(jīng)常在顱內(nèi)自動(dòng)上演各種大片的小編,可實(shí)在是按捺不住了。(所以我夢(mèng)里的畫(huà)面可以成真了嗎?)
小編實(shí)測(cè):人人都能制作小電影!
話不多說(shuō),實(shí)測(cè)這就來(lái)了。
進(jìn)入頁(yè)面后,先試一個(gè)簡(jiǎn)單的prompt:「人類(lèi)第一次登陸火星,建造基地的場(chǎng)景」。
Gen-2生成的畫(huà)面內(nèi)容是符合提示詞描述的,但是畫(huà)面中元素太過(guò)簡(jiǎn)單,藝術(shù)感也差強(qiáng)人意。
于是小編又加了一部分和環(huán)境風(fēng)格相關(guān)的內(nèi)容:「人類(lèi)第一次登陸火星,建造了火星基地,電影風(fēng)格畫(huà)面,未來(lái)風(fēng)格。」
果然,這次Gen-2生成的內(nèi)容和效果確實(shí)比之前的要豐富。
然而,這段視頻還是存在一個(gè)問(wèn)題:畫(huà)面和人物幾乎都是靜態(tài)的,變化很少。
在反復(fù)測(cè)試之后,我們找到了一些提示詞必備的內(nèi)容:風(fēng)格,鏡頭,內(nèi)容,動(dòng)作,環(huán)境和光線。
只要在提示詞中加入這些內(nèi)容,就會(huì)立馬讓生成的動(dòng)畫(huà)有顯著的提升。
針對(duì)剛剛登陸火星的主題,小編又試著改寫(xiě)了一個(gè)提示詞:
「電影風(fēng)格,科幻風(fēng)格,兩個(gè)宇航員在火星基地中建造一個(gè)工作塔,非常強(qiáng)的陽(yáng)光。」
現(xiàn)在生成的這段動(dòng)畫(huà)和前兩個(gè)相比,不論是畫(huà)面風(fēng)格,內(nèi)容豐富程度,動(dòng)作效果,還是光影效果,都明顯有了很大的提升。
最后,小編再在同樣的提示詞基礎(chǔ)之上,上傳了一張圖片,讓Gen-2依據(jù)提示詞和圖片生成了一段動(dòng)畫(huà)。
可以看到,和同一個(gè)提示詞但是沒(méi)有圖片的第三個(gè)視頻相比,帶圖片提示的第四個(gè)視頻確實(shí)和圖片內(nèi)容有了相當(dāng)大的關(guān)聯(lián)。
在精準(zhǔn)的提示詞和圖片的共同描述下,基本上任何人都能瞬間生成一段理想的視頻內(nèi)容了。
時(shí)代變了:只有想不到,沒(méi)有生不成
比起上次,Runway這次的的宣傳語(yǔ)更進(jìn)一步:「只要你想象得到,它就能給你生成」。 (上次的宣傳語(yǔ)是「say it,see it」)
這還得了?要說(shuō)咱們一般人和大導(dǎo)演們的差距,除了專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn),差的就是專(zhuān)業(yè)的攝影團(tuán)隊(duì)和演員了。
后者這樣的差距現(xiàn)在完全被Gen-2這樣的AI工具給補(bǔ)全了,不用相機(jī),不用攝影機(jī),不用3D建模,不用Cinema 4D……
只要你想象力爆棚、學(xué)會(huì)熟練的「咒語(yǔ)」,「人人都能做自己的電影」再也不是夢(mèng)了!
無(wú)論是寫(xiě)實(shí)的畫(huà)面——
還是更抽象的東西——
甚至還可以生成動(dòng)畫(huà),再對(duì)它進(jìn)行各種操作,然后插進(jìn)自己的視頻里。
視頻生成的門(mén)檻被大大拉低,這真是廣大內(nèi)容創(chuàng)作者的福音。
可以說(shuō),文生視頻/圖生視頻的AI,實(shí)在是給行業(yè)太大的顛覆性改變了。
以往,如果剪刀手們想尋找到某個(gè)合適的素材(比如一些在空間中飛濺的顏色),得去stock footage這種素材網(wǎng)站去搜索,素材的范圍很有限,而且人人都可用,素材并不是獨(dú)家的。
或者,在工作室中拿一些油漆往周?chē)映鋈ィ缓笞约河孟鄼C(jī)抓拍。又費(fèi)時(shí)又費(fèi)力,還把周?chē)h(huán)境搞得一片凌亂。
也可以在Blender中自己做,一般需要耗費(fèi)數(shù)小時(shí),甚至數(shù)天。
或者,就需要雇一個(gè)專(zhuān)業(yè)團(tuán)隊(duì),專(zhuān)門(mén)來(lái)拍攝這一過(guò)程。所花的費(fèi)用,大概在幾百到幾千美元不等。
現(xiàn)在,Gen-2把這些成本,統(tǒng)統(tǒng)打了下來(lái)!
Gen-1又火了
其實(shí),此前的Gen-1,效果就已經(jīng)足夠炸裂。
隨著Gen-2的發(fā)布,下面這段視頻最近又被帶火了。
只見(jiàn),大叔一個(gè)響指,就變身貴族,穿越到了17、18世紀(jì)的歐洲宮廷。
很快,一個(gè)響指,又變身成了像是「星球崛起」里的主角,在殘?jiān)珨啾诘膽?zhàn)場(chǎng)上穿梭。
這還不算什么,緊接著的性別切換,堪稱(chēng)一絕!
誰(shuí)能想到,如此健美的女性,其實(shí)是剛剛那個(gè)「老爺子」。
不得不說(shuō),在網(wǎng)友的調(diào)教下,Gen-2生成出的背景、人臉以及服裝不僅相當(dāng)自然,而且似乎還有比較強(qiáng)的一致性。
但最難處理的手部,還是會(huì)經(jīng)常出現(xiàn)bug。
一個(gè)MV,30刀
已經(jīng)有手快的推特網(wǎng)友,測(cè)試了一下Gen-2生成MV的能力。
實(shí)踐證明,我們需要一個(gè)相當(dāng)長(zhǎng)的提示,來(lái)產(chǎn)生優(yōu)質(zhì)和可控的結(jié)果。不過(guò),可以通過(guò)添加或改變一個(gè)詞來(lái)進(jìn)行微調(diào)。
除此之外,還有一個(gè)重要的影響因素——鎖定種子。
剩下的,就是進(jìn)行大量的嘗試了。
比如,這位Steve Mills總共生成了大約500秒的視頻,并最終剪輯成了140秒的MV。
接下來(lái)請(qǐng)欣賞:「Blue City Streets」。
值得注意的是,這段視頻其實(shí)是在測(cè)試版中制作的。
據(jù)作者估計(jì),如果按公開(kāi)版的價(jià)格,整個(gè)制作下來(lái)至少要花費(fèi)30美元。再加上之前的學(xué)習(xí)和摸索階段,這個(gè)價(jià)格還會(huì)更高。
手把手教你如何使用
看了這么多示例,怎么進(jìn)階好萊塢大導(dǎo)?咱們一步步來(lái)。
首先,注冊(cè)一個(gè)賬號(hào)。
進(jìn)入主頁(yè)后,選擇Gen-2:Text to Video。
然后,Prompt box就出現(xiàn)了。此時(shí)就需要你大顯身手了!
Prompt完成后,你還可以打開(kāi)選項(xiàng)設(shè)置卡,升級(jí)你的成果,比如選擇插入幀,讓視頻過(guò)渡更平滑,提高分辨率,去除水印等。
然后,點(diǎn)Generate,接下來(lái)就是見(jiàn)證奇跡的時(shí)刻!
但是很多小伙伴要說(shuō)了,自己是語(yǔ)死早,太復(fù)雜、太華麗的prompt根本寫(xiě)不出來(lái)啊。
別急,這次上線的Gen-2還給了我們一大驚喜——即使是簡(jiǎn)單的prompt,Gen-2產(chǎn)出的視頻也并不差。
比如,簡(jiǎn)單地輸入「一棵樹(shù)」,生成的視頻是這樣的——
如果輸入「在美國(guó)中西部長(zhǎng)滿草的山上的一棵樹(shù),專(zhuān)業(yè)電影風(fēng)格,景深淺,主體對(duì)焦,美麗的燈光,流暢的動(dòng)態(tài)運(yùn)動(dòng)」,生成的視頻是這樣的——
就是說(shuō),不必進(jìn)階為prompt大師,咱們普通用戶也能快速生成酷炫的視頻了!
網(wǎng)友熱議
對(duì)此,B站網(wǎng)友們紛紛開(kāi)起了腦洞。
也有人上手實(shí)測(cè)了。
國(guó)外網(wǎng)友看到了Gen-2也是一片驚呼
終于等到你,還好我沒(méi)放棄。
隨著生成式AI不斷產(chǎn)生視頻內(nèi)容,娛樂(lè)行業(yè)馬上要變天了。
在幾十年前,那時(shí)的電影跟現(xiàn)在的畫(huà)質(zhì)還有著天差地別。
而如今,有了Gen-2之類(lèi)AI工具的加持,或許以后電影的邊界,只是人類(lèi)想象力的邊界,而不再是技術(shù)的邊界了。