媲美Sora，免費使用！帶物理模擬的，文生視頻模型
6月13日，知名3D建模平臺Luma AI發布最新文生視頻模型Dream Machine，向所有用戶免費開放使用。
Dream Machine除了支持文本之外，還可使用圖片作為引導來生成視頻，其生成的視頻質量、動作一致性、色彩、光影、飽和度、運鏡等方面，可以媲美OpenAI的Sora。
Dream Machine的另外一個技術特點是支持物理模擬，這意味著生成的視頻更能體現出物理世界的特點，包括重力下落、碰撞、光影變化等。
Dream Machine生成的視頻
為什么物理模擬，對文生視頻很重要
?
目前，國內外文生視頻賽道都主打“物理模擬”這個技術特點，可以確保生成的視頻不僅看起來非常真實，并在時間和空間上保持連貫性、一致性。
麻省理工學院、斯坦福大學、哥倫比亞大學和康奈爾大學聯合開源的3D交互視頻模型就深度介紹過該技術。
動態模擬與物理一致性是大模型生成高質量視頻的核心技術之一，要想實現這兩點，就需要理解和模擬現實世界中的物理規律。
動態模擬指的是視頻生成過程中對物體和場景的運動進行精確的模擬。在一個視頻片段中，物體的運動軌跡、速度和加速度需要符合現實世界的物理定律。
例如，當一盆花在風中左右搖擺時，視頻中的每一幀都必須展示花盆和花朵按照風力的作用進行擺動，花盆由于重力和風力的交互作用而略微傾斜，然后在風力減弱時逐漸恢復到垂直狀態。
這種模擬需要對物體的運動狀態進行連續的計算和更新，確保視頻前后幀之間的連貫性。
物理一致性是視頻中的物體和場景遵循現實世界的物理規律，包括重力、碰撞、摩擦力、空氣阻力等。
這不僅僅是對單個物體運動的模擬，還包括物體之間的相互作用。例如，在生成兩輛車相撞的場景時，模型需要模擬碰撞時的力和反作用力，考慮車體的變形和碎片飛散的方向和速度。這種物理一致性使得生成的視頻更加逼真和可信。
所以，為了實現動態模擬與物理一致性，文生視頻模型通常會使用大量包含了現實世界中物體運動和相互作用的視頻數據和互作用實例。
通過學習這些數據，模型可以捕捉到物體運動的規律和相互作用的模式，并將其應用到新的視頻生成過程中。
此外，有的視頻模型可能還會加入物理引擎，將場景中的物體和環境參數輸入到模擬器中，然后通過數值計算來模擬這些物體在受力后的運動和變化。
例如，當生成一個描述風吹動樹葉的視頻時，物理模擬引擎會計算風力對樹葉的影響，包括風的速度、方向對樹葉的擺動和飄落的影響。可以讓大模型生成的視頻不僅在視覺上逼真，而且在物理行為上也是一致的。
Dream Machine生成案例展示
?
由于Dream Machine免費開放使用，使用的人非常非常多，目前生成的效率比較差。
官方宣稱生成一個視頻是120秒左右，實際是幾分鐘甚至10分鐘左右才能生成一個視頻，效果還是相當好的。
那就先為大家展示一下其他人已經生成好的視頻作品。
例如，一個真實的廢墟場景拍攝鏡頭。這個生成的視頻有點像虛幻引擎5游戲里的場景，已經非常真實了。
一輛飛奔在高速公路上的跑車。雖然這個視頻只有5秒鐘，但是它的運鏡、場景切換浮動很大，而且連貫、絲滑，這比Gen-2、Pika等同類產品生成的效果更好。
下面這個是圖片生成視頻的案例，本身是一張靜止的圖片，加上圖片和文本描述輕松就動起來了，可以看到運動性的幅度依然很大。
也有一些接受過內測邀請的，通過Dream Machine做了不少微電影。例如，下面這個做的《Tales of the Other Side》電影預告。
制作的人類在未來與機器人關系的微電影。
一部關于怪物的卡通動漫視頻
今年年初OpenAI發布的Sora確實很驚艷，但將近4個月的時間還在封閉測試中，無疑極大打擊了用戶的熱情。
而國內快手發布的“可靈”和今天最新的Dream Machine已經全面開放使用，并且在生成的視頻質量方面不輸Sora，文生視頻賽道的競爭格局將會像文本一樣更加激烈。
免費體驗地址：https://lumalabs.ai/dream-machine/creations
本文轉自 AIGC開放社區，作者：AIGC開放社區
