厲害了!Adobe新出Firefly視頻模型,2分鐘速成高清大片
在 Sora 加入 Adobe 全家桶數月后,Adobe 終于推出了自己的視頻生成模型。
隨著大家對新鮮、短視頻內容的需求不斷增長,編輯、電影制作人和內容創作者被要求在更短的時間內創作出更好的作品。如今,編輯不僅要剪輯圖片,還要進行色彩校正、動畫渲染、音頻混合等,這些內容大大增加了工作時間。
剛剛,Adobe 宣布推出 Firefly 視頻模型。Adobe 旨在利用 AI 強大的功能幫助視頻內容創作者擴展他們的創意,在客戶要求的時間內提供高質量的成果。
在官方博客中,Adobe 進行了一系列 Demo 展示,從提示到成片生成時間不到 2 分鐘。舉例來說:
提示:日落時分,雪林中馴鹿的特寫鏡頭和細節肖像。燈光如電影般絢爛、柔和,如陽光般明媚,金色背光,夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。
提示:慢動作拍攝熾熱的火山景觀,熔巖從火山口噴涌而出。攝像機飛過熔巖,熔巖濺到鏡頭上。燈光具有電影感。色彩等級也具有電影感、戲劇性和高對比度。
提示:用羊毛和毛氈制成的微型可愛怪物正在跳舞,3D 渲染,柔和的燈光,夢幻般的散景,電影感。
提示:無人機上的攝像機飛過沙漠的鏡頭,風吹過沙丘,下面的沙子形成波浪。
如果你需要更多補充畫面, 以填補時間線上的空白 ,Firefly 視頻模型也能幫你完成。舉例來說
原始素材為:
下面是根據提示生成的新片段,提示語為:透過大紅色放大鏡觀察白色蒲公英,特寫。
Firefly Video 模型還能將視頻序列進行組合:
Firefly Video 模型還能進行相機控制,如角度、運動和縮放,從而創建完美的拍攝視角。
提示:無人機在日落黃金時段拍攝雪林樹木之間的場景。燈光如電影般絢爛、柔和、陽光般明媚,金色背光、夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。
Firefly 視頻模型還適用于動畫制作、特效合成。例如,給一段街舞視頻添加火焰特效:
在制作動畫方面,例如給定提示:手繪簡單的線條藝術,一個小孩子仰望太空,臉上帶著奇妙的表情。
再比如,給定提示:月亮上可愛的奶酪球在微笑,3D 渲染,octane,柔和的燈光,夢幻般的散景,背景中浮光閃閃:
有時給定提示要求生成包含易讀文本的高質量視頻,這需要 Firefly 視頻模型具備較高的「文本渲染」能力。例如,水濺和結冰的宏觀細節鏡頭,拼寫出「ICE」一詞:
今年晚些時候,Generative Extend 將在 Premiere Pro(測試版)中推出,將讓用戶可以擴展剪輯以覆蓋素材中的間隙、平滑過渡或延長鏡頭時間,來實現完美的定時編輯。
例如,剪輯師可以在 Premiere Pro 中使用由 Adobe Firefly 視頻模型提供支持的 Generative Extend 來延長鏡頭的保留時間,以匹配音頻的漸強。
Adobe 于 2023 年 3 月首次推出 Adobe Firefly。作為營銷 SaaS 巨頭,Adobe 推出的 Firefly 系列模型為用戶打消了內容版權、隱私安全方面的疑慮。
Adobe 表示:Firefly 視頻模型的設計具有商業安全性,并且僅針對 Adobe 有權使用的內容進行訓練,而絕不會針對 Adobe 用戶的內容進行訓練。