無人車團隊跨維進軍好萊塢!推出電影級視覺AI特效,“新時代皮克斯”
好萊塢級視覺AI橫空出世!一個demo已令網友瘋狂~
來,我們直接看視頻:
以上來自Odyssey,能夠打造好萊塢級山脈、平原、植被、海洋、河流等故事鏡頭。
其最大亮點在于,實現了對視覺敘事核心層的完全控制,使用戶能夠完全控制場景的每個生成元素和方面。
這突破了現有視頻AI最大的障礙——可控性。
看完效果,有網友振臂高呼:
新時代皮克斯!
其他人更是第一時間爭當起Beta測試人員。
為什么Odyssey值得關注?接下來一起扒一扒。
好萊塢級視覺AI
Odyssey靈感來自80、90年代開創性的計算機圖形研究以及皮克斯的創立故事。
這里涉及兩個核心:一是技術,二是故事。
而Odyssey要做的事兒,是用人工智能制作電影、電視節目和視頻游戲。
在實現這一目標的過程中,人們當前遇到的最大障礙是——AI可控性。
對此,Odyssey提出了新的解決方案:
更強大的模型。
他們正在訓練4個生成模型,以實現對視覺敘事核心層的完全控制。
這4個單獨模型將分別生成,比如高質量幾何圖形:
生成真實感材質:
生成逼真光影(控制時間、四季變化):
生成可控運動:
總之,單個模型可以實現精確配置場景細節,而結合起來將生成完整的視頻或場景。
此外,Odyssey允許用戶不斷迭代,其生成工作流程將與專業級版本控制相結合。
其創始人提到:
Odyssey已經被設計成可以輕松整合進好萊塢以及其他地區正在使用的現有工作流程或系統中
Odyssey正在圍繞這些為高級用戶量身定制的模型構建工作流程,并與好萊塢、游戲等領域使用的現有制作工作流程進行集成。
其創建的所有內容都可以在標準化的3D文件格式中進行編輯和導出,例如使用USD格式。
不過有一說一,雖然Odyssey看起來效果還不錯,但眼尖的網友還是發現了一些小bug。
比如00:30處手部細節:
最后,官方還放出了一段工作原理的渲染視頻:
關于團隊
比較有意思的是,Odyssey的團隊與自動駕駛汽車關系頗深。
據創始人透露,其大部分成員花費了數年時間來構建AV(自動駕駛汽車)技術。
比如兩位核心創始人。
CEO Oliver Cameron, 60多家DeepTech初創公司的天使投資人,職業早期一直從事自動駕駛汽車領域。
CTO Jeff Hawke,負責Odyssey可定向視覺AI,研究領域涉及機器學習、計算機視覺、機器人等。
他曾在牛津機器人研究所讀博期間,開發了一種用于自動駕駛和移動機器人的專家混合視覺系統。
此外,他曾在Wayve(自動駕駛汽車制造商)工作期間創建了行業首個在公共道路上使用深度學習和計算機視覺學習駕駛的自動駕駛汽車。
用創始人Jeff Hawke的一句話來描述:
自動駕駛汽車被教導如何駕馭世界,Odyssey被教導如何生成世界。
至于與AV的關聯性,他歸結為了3點:
- AV必須推動視覺AI中的SOTA發布
- AV擴展性能與真實數據
- AV需要可擴展、物理精確的模擬系統
鑒于團隊在自動駕駛汽車方面的豐富經驗,Odyssey自然轉向了3D,并生成了多層3D世界。
且通過多個生成模型,Odyssey能夠實現細節微調控制。
另外,為了打造好萊塢級視覺AI,Odyssey招募了一支由AI研究人員和好萊塢藝術家組成的團隊。
研究人員來自Cruise、Wayve、Waymo、Tesla、Meta等,藝術家是《沙丘》、《哥斯拉》、《復仇者聯盟》等作品的幕后制作者。
那么你覺得Odyssey的效果如何呢?