用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(上)
巴黎奧運會期間,一條《奧運熊貓奇幻之旅》的短片刷爆了大家的朋友圈,可愛的中國熊貓,在一場夢境中參加了各種奧運賽事:打乒乓球、擊劍、游泳、舉重,每一幀場景的還原度十分逼真,贏得了大家瘋狂的轉發和點贊。
這個短片的廣泛流傳,也讓更多的人注意到AI短片創作達人溫維斯。
從事AI視頻創作以來,除了和人民日報、快手可靈共創了《熊貓奧運奇幻之旅》,溫維斯先后還分別與央視財經和新華社共創了《中秋C位美食已就位》《穿越時空之旅系列》《赤心》等AI 視頻,得到了業界的一致認可。
那么,第一次科幻題材的創作再到人民日報報道的“熊貓奧運奇幻之旅”,溫維斯在AI短片創作的成長道路上是如何“打怪升級”的呢?
2024年年初,我開始持續進行AI短片的創作,這是一個新的挑戰。當時,自己作為AIGC產品經理,出于自己的工作性質,對于AIGC工具的捕捉同樣十分重要,什么工具好用,什么工具能夠極大提效,自己需要非常清楚。
第一次制作AI短片,我就選擇了極富感染力的科幻題材,因為很喜歡科幻電影,所有做了這樣的嘗試,當時的創作過程的確有遇到不少困難。
首先是劇本、腳本的創作,是此前從來沒有嘗試過的。我需要通過不斷的與ChatGPT交流,讓GPT進行劇本的潤色與腳本的編輯。
另一方面,當時市面上還沒有涌現出效果特別好用的AI工具,為了生成令自己滿意的素材,最后不得不在彼時本就不多的視頻工具間不停地選擇切換,例如Dreamina、Pixverse、Pika、Haiper、Runway,不過也正是因為這些創作工具,讓我快速打開了AI創作的大門。
圖源:熊貓奧運奇幻之旅
不過隨著素材的不斷增多,大量的圖片、視頻素材數據堆積在電腦里。1分多鐘的短片,平均3s一個鏡頭,最少也有20個鏡頭,每個鏡頭20m,高清后120m,可能就能夠達到2G多。
當素材非常多的時候整個視頻剪輯軟件就會變得非常卡頓,非常影響效率。這時候非常需要一個處理速度快,內容大,顯存大的電腦!
值得一提的是,這個作品同時也是參賽作品,自己還為短片進行了視頻超清處理。這里也有一個令人頭疼的問題,一個5秒短片視頻超清需要花費15-20分鐘。
最后,還需要為短片中人物進行配音,同樣是AI工具完成的。
今年夏天,巴黎奧運會期間,同時非常幸運地與可靈AI、人民日報、德里克文老師一起共創了奧運AI短片《熊貓奧運奇幻之旅》。
圖源:《熊貓奧運奇幻之旅》
這次短片創作涉及到多方參與合作,需要大家多次溝通確認。僅僅是短片風格問題,團隊們就先后提出了不同的看法。從寫實風格、動漫風格,再到首尾幀技術實現,最后到擬人化風格,短片前前后后我們調整了3個版本,最終選擇了可愛的寫實熊貓風。
AI時代為短視頻創作帶來前所未有的效率和想象空間,同時也形成了一套非常獨特的創作棧。挑選創作工具的難點有不少,例如:這款工具如何確保作品生成過程的可控性、如何進行精細化的定制,如何確保前端界面與后端模型的直觀交互,如何確保圖片創作環境的穩定性,如何提升出圖效率等等。
那么,炫酷的短片究竟是怎樣通過這些工具“煉”出來的呢?工欲善其事必先利其器。這里就必須重點提到了三款AI神器:ComfyUI,SD-WebUI、Midjourney。
ComfyUI這款工具的獨特之處在于,提供了基于節點工作流穩定擴散算法的圖形界面,通過將穩定擴散的流程巧妙分解成各個節點,可以成功實現工作流的精準定制和可靠復現。這一點非常關鍵。
用惠普Z系列移動工作站ComfyUI復現短片《點亮》,工作效率非常高,完全意想不到的效果!
通過ComfyUI的工作流編排,我們可以做到每一幀前后的連貫一致性。
使用惠普Z系列移動工作站進行ComfyUI工作流編排
然而需要注意的是,ComfyUI需要創作設備的計算能力得足夠強悍,傳統設備的硬件在高負荷下容易崩潰,完成效率不會很高。
而與ComfyUI不同,另一款神器SD-WebUI,則勝在直觀的操作體驗界面。SD-WebUI是為Stable Difussion模型開發設計的可視化瀏覽器界面操作平臺,用戶即使不具備編程知識或高級技術,也能通過直觀的前端交互輕松使用模型功能。此外,還能通過裝載不同的插件和模型以滿足定制化需求,從而創造出更為可控的視覺作品。
我經常用它來進行AI換臉、瞬息全宇宙特效的制作,非常好用。可惜的是,SD-WebUI有一個硬傷:運行時,它經常會占用系統內存和GPU。
具體到AI繪畫軟件,我目前使用頻次最多的Midjourney,也是我入門AI繪畫的第一款繪畫軟件。
雖然Midjourney出圖很快,圖片效果也很好,但不足之處在于Midjourney運行在電腦的瀏覽器中,一旦打開多個頁面,瀏覽器就會卡頓甚至崩潰卡死的情況。
不過,AI視頻制作的局限性不僅源于工具,也與電腦設備有關。合適的硬件對高質量視頻創作很重要,尤其需關注以下方面:
1.硬件性能:重點是CPU/GPU、內存和存儲容量,是工具流暢運行的必要條件,傳統設備在高負荷下易崩潰。內存和存儲常被初學者忽略,如高質量短片編輯渲染需大量內存,低內存會使處理速度慢,5秒片段可能需等30分鐘;5秒AI高清視頻可達300M,100個鏡頭的短片可能需30G容量。
2.軟件優化:不同軟件和插件可能存在兼容性問題,影響工作流程;長時間渲染或編輯時傳統設備易發燙,軟件穩定性影響效率;部分視頻編輯軟件在高負荷下性能優化不足,導致卡頓或崩潰。
3.工作流效率:AI短片創作常需并行處理多任務。
4.跨設備數據傳輸:團隊協作時不同設備間數據傳輸和同步效率低,影響工作進度。
因此,經過多重考慮,我最后選擇嘗試在惠普Z系列移動工作站HP ZBook Fury 16 G11,使用上述這些工具,再次創作一遍。他發現對于一款高配的創作設備而言,對于諸如高內存、GPU計算資源的占用、瀏覽器卡頓崩潰的問題的擔心,完全沒有必要了。“從渲染視頻,到使用WebUI,最后到剪輯,都沒有出現過一次卡死的情況,打開幾十個Midjourney頁面完全不用擔心。”
我手里這臺ZBook Fury G11 移動工作站讓我做AI創作的道路上如虎添翼。它搭載第 13 代英特爾 酷睿i9處理器的英特爾博銳平臺,同時適配了5000 Ada GPU,32G的RAM和2T的存儲空間,同時還兼容了市面上主流的視頻編輯和特效制作軟件,而且還具有21000+ISV 軟件的組合認證,可以運行各類工具,性能拉滿的同時安全感也是滿滿。可以說,這款工作站是對于處理復雜的AI短片而生的。
溫維斯Wenvis是如何用惠普Z系列移動工作站HP ZBook Fury G11復現《熊貓奧運奇幻之旅》AI短片“神”場景?
敬請期待下一期《用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(下)》