Midjourney+Gen2,七步完成「芭本海默」,引Karpathy驚呼|附實(shí)測經(jīng)驗(yàn)
在前兩天芭比海默全網(wǎng)爆火之后,不斷有網(wǎng)友“復(fù)現(xiàn)”用MidJourney+Gen-2制作電影的神技!
而一位網(wǎng)友更新了一個(gè)自己的教程,制作芭本海默只需7步,被Karpathy盛贊為“電影制作工業(yè)2.0”。
一部20秒鐘,有完整劇情,包含6個(gè)分鏡頭的動畫短片,7步完成,曹植看了都要直呼內(nèi)行!
7步完成芭比海默,效果驚人
下面就給大家具體演示一下:
1. ChatGPT幫你寫分鏡頭劇本,順便再幫你把字幕也寫好
2. 根據(jù)分鏡頭腳本,用Midjourney生成每個(gè)鏡頭的開始的一張圖片。
這里可能是7步成片中唯一一步稍微有點(diǎn)門檻的操作,每張圖片的提示詞要自己創(chuàng)作。
但是點(diǎn)擊圖片放大之后可以看到提示詞也不是很長,有一點(diǎn)英語基礎(chǔ)的朋友稍微試一下就能做到。
這是短片中另外幾個(gè)場景的起始圖片,也全都是用Midjourney生成。
3. 為了保證短片中的場景色調(diào)一致,需要用修圖軟件調(diào)整一下每張圖片的色調(diào)。
比如短片里的色調(diào)是比較復(fù)古的風(fēng)格,Midjourney生成的原圖可能不符合。
用任意一款修圖軟件調(diào)整過后,就能讓所有場景的風(fēng)格比較一致了。
4. 使用Gen-2讓每一張照片動起來,把6張照片變?yōu)?個(gè)分鏡頭。
5.然后用ElevenLabs生成字幕的語音。
6. 然后用FinalCut Pro把動畫,聲音,和特效結(jié)合起來,短片就基本完成了。
7. 再用Capcut添加好字幕,大功告成!
實(shí)測之后發(fā)現(xiàn)的經(jīng)驗(yàn)
雖然看著簡單,但是親手實(shí)測了一波后發(fā)現(xiàn),沒有一個(gè)清晰的規(guī)劃,要想做出自己效果滿意的電影,還是很不容易的。
最大的障礙在于,因?yàn)镚en-2的動畫只能以某一張圖隨機(jī)生成,所以在涉及人臉畫面的時(shí)候,畸變會比較多。
本來想做一個(gè)馬老板手搓星艦的視頻,但是發(fā)現(xiàn)人物面部的畸變太嚴(yán)重了,以至于每段視頻只有第一幀圖片是馬老板本人,一秒鐘之后就不知道會變成誰了。
所以如果想要用Gen-2做一個(gè)明星相關(guān)的視頻,現(xiàn)在為止還幾乎不可能。
而且這些面部畸變和人物動作時(shí)完全隨機(jī)的,完全不受用戶控制。
有一位網(wǎng)友做了一段視頻,把每4秒的最后一幀截圖下來讓Gen-2繼續(xù)生成新動畫。
大概40秒之后,畫面中的人物,從一開始的美漫風(fēng)格的動畫角色,最后幾乎畸變成了雕塑。
即便圖片中有一些比較明顯的動態(tài)提示的效果,但是Gen-2還不能理解,所以生成的效果也不一定符合你的預(yù)期。
人物的動作也沒有辦法太好的控制,可能為了要生成一段自己滿意的動畫需要用同一張圖嘗試好長時(shí)間。
所以就目前Gen-2能實(shí)現(xiàn)的效果來看,還不太可能隨意適應(yīng)比較復(fù)雜的劇本。
所以就要求寫劇本時(shí)要盡量避免近景人臉特寫等場景。
但是如果未來Gen-2能夠?qū)rompt和圖片完全結(jié)合起來,讓圖片能夠跟著prompt的描述動起來,效果就會有一個(gè)巨大的飛躍。
其他的Midjourney+Gen-2的效果
大神歸藏,用Gen-2做了幾個(gè)《奧本海默》中的場景,足以以假亂真。
同時(shí),他還比較了相似的場景和Pika Lab生成的區(qū)別。
下圖是Pika Lab的效果。
除了開頭這段「芭比海默」之外,很多網(wǎng)友也用Gen-2和Midjouney這對黃金搭檔做起了動畫開發(fā)的副業(yè)。
讓我們來欣賞幾組效果不錯(cuò)的動畫效果演示。
可以看出,在演示之中人臉的效果變形不是很大,這與實(shí)測的差異很大,很有可能是因?yàn)樽髡咴嚵撕芏啻沃笳业降哪槻炕儾淮蟮男Ч?/span>
有網(wǎng)友生成了一部名人漫威角色的預(yù)告片,效果非常逼真,配上一點(diǎn)動畫特效和光影,感覺真的像是漫威官方的作品。
這是網(wǎng)友生成的一段恐怖電影的預(yù)告片,反而很好的利用了Gen-2人物畫面畸變,增加了恐怖片的氛圍感。
這一段也是網(wǎng)友用MJ+Gen-2做的藝術(shù)感很強(qiáng)的視頻,加上后期跟新的導(dǎo)演運(yùn)鏡特效。
這是一幅用油畫的靜圖生成的動畫,雖然有一點(diǎn)畸變,但是效果確實(shí)不錯(cuò)。