好低調！字節Dreamina全面開放內測了，效果夠驚艷嗎？Ta眼中的“Sora女士”原來是這樣！
字節Dreamina的內測范圍擴大了！一個月前小編填寫過一次內測收集問卷，當時并未拿到初始100人（據說）的名額。
圖片
但在今天上午再次申請后，下午便驚喜地發現已經開通了Dreamina的文生視頻功能！
再次申請只需選擇兩個問題，一是有無AI視頻產品的使用經驗，二是是否有在工作中大量使用AI視頻生成的需求。完成后就可以等待上手測試啦！想體驗的朋友們移步，點擊“視頻生成”選項即可：https://dreamina.jianying.com/ai-tool/home。
最最讓我好奇的還是：Dreamina眼中的“Sora女士”會是什么樣呢？
讓我們先來瞅瞅用“Sora女士”的prompt生成的視頻效果如何吧！
截圖來源：Sora官方視頻
prompt：一位時尚女性走在充滿溫暖發光的霓虹燈和生動城市招牌的東京街頭。她穿著一件黑色皮夾克，一條長紅裙，黑色靴子，并提著一個黑色手提包。她戴著太陽鏡，涂著紅唇膏。她自信而隨意地走著。街道潮濕而反光，形成了五彩斑斕的燈光的鏡面效果。許多行人來來往往。
太短了！這段視頻在兩分鐘內完成了生成（PS：小編的網速一般）。可惜整個視頻的時長只有3秒鐘……要知道，Sora之所以這么驚艷，很大程度上來源于視頻能堅持10s以上“不崩壞”。不過，也可以給Dreamina生成的視頻再續3秒，但那就是另外的價格了（需要開通會員，功能按鈕見下圖）。
圖片
對于視頻的第一印象就是——“Dreamina女士”真的好拽姐！如果說Sora理解的“自信而隨意”是堅毅而知性的，Dreamina則有種Z時代的叛逆和張狂在身上。
先說說Dreamina的優點。Dreamina在提示詞的這場命題作文里拿到了所有大的得分點，例如霓虹燈街頭、皮夾克、墨鏡、紅裙紅唇等關鍵詞都抓得不錯。
但是，Dreamina的硬傷也有，還不少：
- 手指：AI生圖最難攻克的手指，在生視頻時又又又難死AI了，拿著包的那只手，手指數目一直不穩定
- 腿部動作：兩腿的交叉不自然，看起來一直在邁右腿
- 面部：通過神情呈現“隨意”這一關鍵詞時，嘴唇有點“亂飛”
- 地面：地面潮濕的效果“注水”過猛，水直接流動起來了
此外，和sora視頻中清晰的出現了日文招牌不同，“Dreamina女士”街頭的招牌非常模糊，看起來比較像中文。此外發生手提包理解成了單肩挎包這樣的小瑕疵。
1.Dreamina女士生成全過程
Dreamina的界面友好、清晰，很容易上手。
圖片
用戶每天可以獲得免費的60積分，積分只能當天使用無法累積。每次生成視頻需要12積分，也就是可以免費做5條AI視頻（合計15s）。
圖片
Dreamina提供了文生視頻和圖片生視頻兩種模式，這里選擇文生視頻（圖生視頻測試見下一節）。
圖片
Dreamina允許用戶對運鏡類型進行控制。在OpenAI所提供的Sora女士視頻里，大部分時間鏡頭都是與人物同步移動的，所以這里選擇了保持鏡頭。
圖片
在視頻設置中，Dreamina提供了視頻比例及運動速度的調整。
圖片
在第二次實驗中，我們調整比例到豎屏的9:16，并讓“Dreamina女士”走快點。
這次視頻效果竟然明顯好了不少！雖然這次人物拎了兩只手提包，但是地面、“Dreamina女士”的面部表情和腿部動作都得到了改善。推測這是因為，剪映下的Dreamina天生具有為抖音服務的屬性，因此在豎屏視頻上做了更多的訓練。
為了繼續測測Dreamina的想象力，使用了Sora的“咖啡杯與海盜船”考題。
prompt：兩艘海盜船，在一杯咖啡中，航行時的逼真特寫視頻。
Dreamina 只生成了一搜海盜船，還有一個飄忽的人物在咖啡杯中，同時也沒有很好地展現航行動作。看來生成超現實的場景對于Dreamina來說還是有點難。
二、首尾幀生視頻，新意夠了實現還差點
圖生視頻功能的測試中依然選擇了Sora提供的蘇爾加雷角海灘圖片。
prompt：無人機視角下的大蘇爾加雷角海灘，巨浪拍打著崎嶇的懸崖。撞擊的藍色海水形成白色的浪尖，而落日的金色光芒照亮了巖石海岸。遠處的小島上有一座燈塔，綠色的灌木叢覆蓋了懸崖的邊緣。從道路陡峭下降到海灘是一種戲劇性的壯舉，懸崖邊緣突出在海面上。這是一種捕捉海岸原始美麗和太平洋海岸公路崎嶇景觀的視角。
圖生視頻功能仍然允許再輸入提示詞，不過為了考察AI是否能識別出“應該”運動的物體，這里選擇不再輸入提示。同時，這次體驗了鏡頭順時針旋轉的效果。不過在預覽中發現，目前Dreamina只支持平面的旋轉效果（無法實現Sora這支視頻向縱深旋轉的效果）。
圖片
在無提示下，Dreamina也能很好地get到我們想要的海浪生成效果。美中不足的是，近處與遠處的海水流動方向并不一致。
另外，我們還發現Dreamina有一個很獨特的首尾幀功能！好家伙，以后的動畫，豈不是開局一張圖、結局一張圖中間全部靠AI?
圖片
我們使用兩張截圖，嘗試對Sora的“小怪物”視頻進行復刻。
prompt：
圖片
看起來創新又好用的功能結果有點不盡如人意！最該動的手掌偏偏紋絲不動，明明首尾幀中的手掌位置和形態都變化了，且也有提示詞強調。
這次生成的效果可以說離譜。小怪物張開嘴巴凝視火焰，被生成出嘴巴噴火的狀態。同時，由于提示詞不嚴謹地寫成了“焰火”，所以Dreamina干脆就在蠟燭上飛了個煙花出來。這個事情告訴我們提示詞必須要嚴謹，連斷句也要仔細推敲，盡量寫得非常直白易懂。
看來，視頻生成模型真的不太懂物理世界，但是這又很貼合怪物世界……唉。
3.寫在最后
在搜索Dreamina時，我們經常看到“復現Sora”“不輸Sora”等評價。
但客觀來說，這些評價多少有點“偏袒自家孩子”的意思了。即使從3秒視頻的效果來看，我們也能看出Dreamina與Sora之間還存在著相當的差距。
即使有諸多不足，但在試用Dreamina的過程中我仍然覺得非常興奮，既有接觸新技術的新奇，也有對國內技術者的敬意。在視頻生成技術落后OpenAI一兩年，并且被算力“卡脖子”的背景下，字節仍然這么迅速地動作，并通過廣泛的內測讓我們看到了視頻生成在短期內To C的可能。這是非常有勇氣的、令人鼓舞的決定。
在Sora官方進駐Tik Tok時，AI視頻生成工具會不會取代現在的短視頻平臺一度成為熱議的話題。
而字節能依托現有的產品矩陣，“降大任”于剪映，讓我們看到了一家中國互聯網巨頭的勃勃野心與強大的生命力——平臺和工具，字節跳動都要。
??http://www.ekrvqnd.cn/aigc/??
本文轉載自 ??51CTO技術棧??，作者：伊風
