AI 視頻圈正「互扯頭花」。

國(guó)外的 Luma、Runway，國(guó)內(nèi)的快手可靈、字節(jié)即夢(mèng)、智譜清影…… 你方唱罷我登場(chǎng)。無(wú)一例外，它們對(duì)標(biāo)的都是那個(gè)傳說(shuō)中的 Sora。

其實(shí)，說(shuō)起 Sora 全球挑戰(zhàn)者，生數(shù)科技的 Vidu 少不了。

早在三個(gè)月前，國(guó)內(nèi)外視頻生成領(lǐng)域還一片「沉寂」之時(shí)，生數(shù)科技突然曝出自家最新視頻大模型 Vidu 的宣傳視頻，憑借其生動(dòng)逼真、不輸 Sora 的效果，驚艷了一眾網(wǎng)友。

就在今天，Vidu 正式上線(xiàn)。無(wú)需申請(qǐng)，只要有個(gè)郵箱，就能上手體驗(yàn)。（Vidu官網(wǎng)鏈接：www.vidu.studio）

例如，皮卡丘和哆啦 A 夢(mèng)玩「貼臉殺」：

《暮光之城》男女主秀恩愛(ài)：

它甚至還解決了 AI 不會(huì)寫(xiě)字的問(wèn)題：

此外，Vidu 的生成效率也賊拉猛，實(shí)現(xiàn)了業(yè)界最快的推理速度，僅需 30 秒就能生成一段 4 秒鏡頭。

接下來(lái)，我們就奉上最新的一手評(píng)測(cè)，看看這款「國(guó)產(chǎn) Sora」的實(shí)力究竟如何。

上手實(shí)測(cè)：鏡頭語(yǔ)言大膽，畫(huà)面不會(huì)崩壞！

這次，Vidu 亮出了絕活。

不僅延續(xù)了今年 4 月份展示的高動(dòng)態(tài)性、高逼真度、高一致性等優(yōu)勢(shì)，還新增了動(dòng)漫風(fēng)格、文字與特效畫(huà)面生成、角色一致性等特色能力。

主打一個(gè)：別人有的功能，我要有，別人沒(méi)有的功能，我也要有。

哦莫，它竟然認(rèn)字識(shí)數(shù)

現(xiàn)階段，Vidu 有兩大核心功能：文生視頻和圖生視頻。

提供 4s 和 8s 兩種時(shí)長(zhǎng)選擇，分辨率最高達(dá) 1080P。風(fēng)格上，提供寫(xiě)實(shí)和動(dòng)畫(huà)兩大選擇。

先看看圖生視頻。

讓歷史重新鮮活起來(lái)，是當(dāng)下最流行的玩法。這是法國(guó)畫(huà)家伊麗莎白?路易絲?維瑞的名作《畫(huà)家與女兒像》。

我們輸入提示詞：畫(huà)家與女兒像，母女緊緊抱在一起。

生成的高清版本讓人眼前一亮，人物動(dòng)作幅度很大，連眼神都有變化，但效果挺自然。

再試試達(dá)芬奇的《抱銀鼬的女子》。

提示詞：抱銀鼬的女子面露微笑。

長(zhǎng)達(dá) 8 秒的視頻里，女子和寵物動(dòng)作幅度較大，特別是女子的手部撫摸動(dòng)作，還有身體、面部變化，但都沒(méi)有影響畫(huà)面的自然、流暢。

大幅度、精準(zhǔn)的動(dòng)作有助于更好地表現(xiàn)視頻情節(jié)和人物情緒。不過(guò)，動(dòng)作幅度一旦變大，畫(huà)面容易崩壞。因此，一些模型為保證流暢性，會(huì)犧牲動(dòng)幅，而 Vidu 比較好地解決了這一問(wèn)題。

模擬真實(shí)物理世界的運(yùn)動(dòng)，還真不錯(cuò)。比如，復(fù)刻類(lèi)似庫(kù)布里克《2001 太空漫游》的情景！

提示詞：長(zhǎng)鏡頭下，緩緩走向消失。

提示詞：長(zhǎng)鏡頭下，漂浮著，慢慢飄向盡頭。

除了圖生視頻，還有文生視頻。

提示詞：兩朵花在黑色背景下緩慢綻放，展示出細(xì)膩的花瓣和花蕊。

提示語(yǔ)：這次只她一人，獨(dú)自坐在櫻花深處的秋千架上，穿著粉紅的春衫，輕微蕩著秋千，幅度很小，像坐搖椅一般，微垂著頭，有點(diǎn)百無(wú)聊賴(lài)的樣子，緩緩伸足一點(diǎn)一點(diǎn)踢著地上的青草。那櫻花片片飄落在她身上頭上，她也不以手去拂，漸漸積得多了，和她衣裙的顏色相融，遠(yuǎn)遠(yuǎn)望去仿佛她整個(gè)人都是由櫻花砌成似的。

Vidu 語(yǔ)義理解能力不錯(cuò)，還可以理解提示中一次包含多個(gè)鏡頭的片段要求。

比如，畫(huà)面中既有海邊小屋的特寫(xiě)，還有運(yùn)鏡轉(zhuǎn)向海面遠(yuǎn)眺的遠(yuǎn)景，通過(guò)鏡頭切換，賦予畫(huà)面一種鮮明的敘事感。

提示語(yǔ)：在一個(gè)古色古香的海邊小屋里，陽(yáng)光沐浴著房間，鏡頭緩慢過(guò)渡到一個(gè)陽(yáng)臺(tái)，俯瞰著寧?kù)o的大海，最后鏡頭定格在漂浮著大海、帆船和倒影般的云彩。

對(duì)于第一人稱(chēng)、延時(shí)攝影等鏡頭語(yǔ)言，Vidu 也能準(zhǔn)確理解和表達(dá)，用戶(hù)只需細(xì)化提示詞，即可大幅提升視頻的可控性。

提示詞：第一人稱(chēng)視角，女友牽著我的手，一起漫步在海邊。

Vidu 是一款能夠準(zhǔn)確理解和生成一些詞匯的視頻生成器，比如數(shù)字。

提示詞：一塊生日蛋糕，上面插著蠟燭，蠟燭是數(shù)字 “32”。

蛋糕上換成「Happy Birthday」的字樣，它也能hold住。

提示詞：一塊蛋糕，上面寫(xiě)著"HAPPY BIRTHDAY"。

動(dòng)漫風(fēng)格嘎嘎好用

目前市面上的 AI 視頻工具大多局限于寫(xiě)實(shí)風(fēng)格或源于現(xiàn)實(shí)的想象，而 Vidu 除了寫(xiě)實(shí)風(fēng)格外，還支持動(dòng)漫風(fēng)格。

我們選擇動(dòng)畫(huà)模型，直接輸入提示詞即可輸出動(dòng)漫風(fēng)格視頻。

例如，提示詞：動(dòng)漫風(fēng)格，小女孩站在廚房里切菜。

說(shuō)實(shí)話(huà)，這畫(huà)風(fēng)有宮崎駿老爺子的味道。Vidu 讀懂了提示詞，小女孩切菜動(dòng)作一氣呵成，就是手指和刀具在不經(jīng)意間仍有變形。

提示詞：動(dòng)漫風(fēng)格，一個(gè)戴著耳機(jī)的小女孩在跳舞。

Vidu 的想象力還挺豐富，自個(gè)兒把背景設(shè)置為帶有噴泉的公園，這也讓視頻畫(huà)面不那么單調(diào)。

當(dāng)然，我們還可以上傳一張動(dòng)漫參考圖片，再輸入提示詞，如此一來(lái)，圖片中的動(dòng)漫人物就能動(dòng)起來(lái)啦。

例如，我們上傳一張蠟筆小新的靜態(tài)圖，然后輸入提示詞：蠟筆小新大笑著舉起手里的小花。圖片用途選擇「用作起始幀」。

我們來(lái)瞅瞅效果：

再上傳一張呆萌皮卡丘的圖像，輸入提示詞為「皮卡丘開(kāi)心地蹦起來(lái)」。圖片用途選擇「用作起始幀」。

繼續(xù)上效果：

上傳《海賊王》路飛的圖像，再喂給它提示詞：男孩突然哭起來(lái)。

效果如下：

不得不說(shuō)， Vidu 的動(dòng)漫效果相當(dāng)驚艷，在保持風(fēng)格一致性的同時(shí)，顯著提高了畫(huà)面的穩(wěn)定性和流暢性，沒(méi)有出現(xiàn)變形、崩壞或者六指狂魔、左右腿不分等「邪門(mén)」畫(huà)面。

梗圖、表情包燥起來(lái)

在「圖生視頻」板塊中，除了支持首幀圖上傳，Vidu 這次還上新一項(xiàng)功能 —— 角色一致性（Charactor To Video）。

所謂角色一致性，就是上傳一個(gè)角色圖像，然后可以指定該角色在任意場(chǎng)景中做出任意動(dòng)作。

我們就拿吳京為例。

提示詞：在一艘宇宙飛船里，吳京正穿著太空服，對(duì)鏡頭揮手。

提示詞：吳京穿著唐裝，站在一條古街上，向鏡頭揮手。

如果說(shuō)，首幀圖上傳適合創(chuàng)作場(chǎng)景一致性的視頻，那么，有了角色一致性功能，從科幻角色到現(xiàn)代劇，演員七十二變，信手拈來(lái)。

此外，有了角色一致性功能，普通用戶(hù)創(chuàng)作「梗圖」、「表情包」可以燥起來(lái)了！

比如讓北美「意難忘」賈斯汀?比伯和賽琳娜再續(xù)前緣：

《武林外傳》中佟湘玉和白展堂嗑著瓜子，聊著同福客棧的八卦：

還有《甄嬛傳》皇后娘娘委屈大哭：

只要腦洞夠大，什么地鐵老人吃手機(jī)、鰲拜和韋小寶打啵、容嬤嬤喂紫薇吃雞腿，Vidu 都能整出來(lái)。

就一個(gè)字，快！

視頻生成過(guò)程中，用戶(hù)最煩啥？當(dāng)然是龜速爬行的進(jìn)度條。

試想，為了一段幾秒的視頻，愣是趴在電腦前等個(gè)十分鐘，再慢性子的人也很難不破防。

目前，市面上主流 AI 視頻工具生成一段 4 秒左右的視頻片段，通常需要 1 到 5 分鐘，甚至更長(zhǎng)。

例如，Runway 最新推出的 Gen-3 工具需要 1 分鐘來(lái)完成 5s 視頻生成，可靈需要 2-3 分鐘，而 Vidu 將這一等待時(shí)間縮短至 30 秒，速度比業(yè)內(nèi)最快水平的 Gen-3 還要再快一倍。

基于完全自研的 U-ViT 架構(gòu)，商用精心布局

「Vidu」底層基于完全自研的 U-ViT 架構(gòu)，該架構(gòu)由團(tuán)隊(duì)在 2022 年 9 月提出，早于 Sora 采用的 DiT 架構(gòu)，是全球首個(gè) Diffusion 和 Transformer 融合的架構(gòu)。

在 DiT 論文發(fā)布兩個(gè)月前，清華大學(xué)的朱軍團(tuán)隊(duì)提交了一篇論文 ——《All are Worth Words: A ViT Backbone for Diffusion Models》。這篇論文提出了用 Transformer 替代基于 CNN 的 U-Net 的網(wǎng)絡(luò)架構(gòu) U-ViT。這是「Vidu」最重要的技術(shù)基礎(chǔ)。

由于不涉及中間的插幀和拼接等多步驟的處理，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，「Vidu」 的作品感官上更加一鏡到底，視頻從頭到尾連續(xù)生成，沒(méi)有插幀痕跡。除了底層架構(gòu)上的創(chuàng)新，「Vidu」也復(fù)用了生數(shù)科技過(guò)往積累下的工程化經(jīng)驗(yàn)和能力。

生數(shù)科技曾稱(chēng)，從圖任務(wù)的統(tǒng)一到融合視頻能力，「Vidu」可被視為一款通用視覺(jué)模型，能夠支持生成更加多樣化、更長(zhǎng)時(shí)長(zhǎng)的視頻內(nèi)容。他們也透露，「Vidu」還在加速迭代提升。面向未來(lái)，「Vidu」靈活的模型架構(gòu)也將能夠兼容更廣泛的多模態(tài)能力。

生數(shù)科技成立于 2023 年 3 月，核心成員來(lái)自清華大學(xué)人工智能研究院，致力于自主研發(fā)世界領(lǐng)先的可控多模態(tài)通用大模型。自 2023 年成立以來(lái)，團(tuán)隊(duì)已獲得螞蟻集團(tuán)、啟明創(chuàng)投、BV 百度風(fēng)投、字節(jié)系錦秋基金等多家知名產(chǎn)業(yè)機(jī)構(gòu)的認(rèn)可，完成數(shù)億元融資。據(jù)悉，生數(shù)科技是目前國(guó)內(nèi)在多模態(tài)大模型賽道估值最高的創(chuàng)業(yè)團(tuán)隊(duì)。

公司首席科學(xué)家由清華人工智能研究院副院長(zhǎng)朱軍擔(dān)任；CEO 唐家渝本碩就讀于清華大學(xué)計(jì)算機(jī)系，是 THUNLP 組成員；CTO 鮑凡是清華大學(xué)計(jì)算機(jī)系博士生、朱軍教授的課題組成員，長(zhǎng)期關(guān)注擴(kuò)散模型領(lǐng)域研究，U-ViT 和 UniDiffuser 兩項(xiàng)工作均是由他主導(dǎo)完成的。

今年 1 月，生數(shù)科技旗下視覺(jué)創(chuàng)意設(shè)計(jì)平臺(tái) PixWeaver 上線(xiàn)了短視頻生成功能，支持 4 秒高美學(xué)性的短視頻內(nèi)容。2 月份 Sora 推出后，生數(shù)科技內(nèi)部成立攻堅(jiān)小組，加快了原本視頻方向的研發(fā)進(jìn)度，不到一個(gè)月的時(shí)間，內(nèi)部就實(shí)現(xiàn)了 8 秒的視頻生成，緊接著 4 月份就突破了 16 秒生成，生成質(zhì)量與時(shí)長(zhǎng)全方面取得突破。

如果說(shuō) 4 月份的模型發(fā)布展示了 Vidu 在視頻生成能力上的領(lǐng)先，這次正式發(fā)布的產(chǎn)品則展示了 Vidu 在商業(yè)化方面的精心布局。生數(shù)科技目前采取模型層和應(yīng)用層兩條路走路的模式。

一方面，構(gòu)建覆蓋文本、圖像、視頻、3D 模型等多模態(tài)能力的底層通用大模型，面向 B 端提供模型服務(wù)能力。

另一方面，面向圖像生成、視頻生成等場(chǎng)景打造垂類(lèi)應(yīng)用，按照訂閱等形式收費(fèi)，應(yīng)用方向主要是游戲制作、影視后期等內(nèi)容創(chuàng)作場(chǎng)景。