Pika 1.0正式上線后，拿到內測資格的網友們已經玩瘋了！

有人用它生成了一個姜黃色頭發女孩和她的姜黃色貓的短片。

以往，因為一致性的難題，用AI視頻很難做出優秀的動漫作品。但是Pika 1.0，實在是太給人驚喜了！

更令人震驚的是，作者表示，這是100%用文本到視頻生成的。

還記得半個月前，這家有斯坦福AI Lab博士創辦的初創公司Pika，發布的第一個產品瞬間成為頂流。

不僅能夠生成3D動畫、動漫、卡通和電影，甚至可以實現風格轉換、幕布擴展等重磅能力。

如今，許多網友到手體驗后，紛紛覺得太哇塞了。

與此同時，Pika官方賬號公布了自家的最新研究。這是Pika 1.0發布產品以來，這家公司首次對外披露技術細節。

最新研究中，提出了一種DreamPropeller方法，能夠將文本到3D的生成速度提升4.7倍。

網友實測，皆為經典

接下來，先來一起看看，廣大網友們的創意。

比起Runway的Gen-2，Pika 1.0在讓人物動起來時的一致性非常穩定。

電影級效果，堪稱動漫界的「宮崎駿」

Pika 1.0非常擅長動漫風格的動物，看看這些不同場景中的老鷹就知道了。

看得出，宮崎駿畫風非常濃郁。

還有這種漫威風格的小人模型，讓他們動起來真的像是「復仇者聯盟」。

還有形單影只的白天鵝，在波光粼粼的湖中嬉戲，再游到岸邊，好像在找回家的路。

就連美版「機器人總動員」動畫的科幻風，呈現的也是淋漓盡致。

一朵含苞待放的花朵。

如下這個例子是Pika自己做的叢林中兔子士兵的電影級效果，并給出了提示（拿到內測資格的網友可試）

1. Cinematic, extreme close-up of a bunny soldier in a jungle, 3D rendering

2. Cinematic, back-view long shot of a bunny soldier exploring a giant carrot in the jungle, 3D rendering

瘋狂動物城、獅子王、熊大熊二混版動畫。

網友做了一個電影預告片，就連名字都想好了「金剛哥斯拉：新帝國」。

愛因斯坦和他的實驗。

真人變身，泰坦尼克號被惡搞

還有一位自稱「AI級導演」做出的真人演示效果，簡直絕絕子。

戴上帽子，穿上羽絨服，服飾的搭配與人的身體契合度，毫無違和感。

還可以把周邊的物體變成松柏，還能把自己變成北極熊，簡直可愛到爆。

還有「泰坦尼克號」重制版，女主Rose直接變成熊貓，和男主Jack在一起牽手的畫風，你細品...

再來看個真人變身的效果，還有二次元小姐姐。

AI魔法棒，一鍵替換

用AI「修改區域」，能夠把所有背景，甚至包括主體的衣服能夠換成一致的圣誕的風格。

還有網友嘗試了這一替換功能，把海邊的啤酒，瞬間變成了可樂。

具體實現效果，Chase Lean給出了一個教程，只需要3步過程。

首先需要生成一個視頻，先讓Midjourney生成一張海邊Corona啤酒的圖片，然后將其做成視頻。

第二步：單擊「編輯」，然后單擊「修改區域」。

第三步，告訴Pika你想用什么來代替它，比如可口可樂。

畫布擴展，超凡腦洞

圖像畫布擴展能力，其實我們也見到了許多像MidjourneyAI圖像生成工具已經實現了。

而Pika 1.0不僅能開出腦洞，還能讓畫面動起來。

就看這雅典帕特農神廟，外畫出的景色更加凸顯這座建筑的壯觀。

還有橄欖樹、游覽古建筑都能暗藏各種驚喜。

你可以錄一段視頻，Pika能夠直接想象出背景。

下面這個網友使用文本提示創建了第一個視頻，然后擴展畫布幾次，獲得了第二個視頻。

初始提示是：A beautiful princess, standing on the castle wall, 3d animation

還有網友做出了，演唱會級的音樂視頻，不過不得不承認，還有些不足的地方。

Pika 1.0背后技術

看到這么多驚艷的效果，或許許多人更想了解一些關于Pika 1.0生成的技術細節。

這不，官方剛剛公布了一篇論文，是由斯坦福大學和Pika Labs聯手共創。

以往，通過分數蒸餾，比如DreamFusion、ProlificDreamer等模型，進行文本到3D的生成質量雖高，但運行時間可能長達10個小時。

最新論文中，研究人員提出了一種基于分數蒸餾的加速方法——DreamPropeller，能夠將現有方法的速度提高4.7倍。

論文地址：https://arxiv.org/pdf/2311.17082.pdf

DreamPropeller整體架構如下圖所示。

在每次迭代（k次）的開始，初始化一個由3D形狀（用綠色表示）組成的窗口，然后，這些形狀被分發到p個GPU上進行并行計算，在GPU上并行計算形狀的SDS/VSD梯度。

然后根據公式 (9) 中的規則收集這些梯度，并使用這些梯度對形狀進行更新。

窗口向前滑動，直到該時間步的誤差不小于閾值e，閾值e根據窗口的平均/中值誤差進行自適應更新。

另外，在VSD的情況下，研究人員會在所有GPU上保留LoRA擴散的獨立副本，這些副本會獨立更新，無需額外通信。

如下是應用DreamPropeller的代表性示例。

最新框架以并行計算換取速度，在保持生成質量的前提下，應用于DreamGaussian和ProlificDreamer時，速度提高了 4 倍以上。

在DreamPropeller完成時，基線版本的外觀和幾何效果明顯較差。

如下是與其他模型的可視化比較。使用DreamPropeller的方法能以更短的運行時間實現同樣高質量的生成。

對DreamFusion圖庫中的30個提示進行量化評估。運行時間以秒為單位。最新研究的方法達到了具有競爭力的質量，同時速度提高了4倍以上。

下一個視頻生成頂流

對于Pika 1.0的誕生，讓全網熱血沸騰，而它或許成為下一個視頻生成的頂流。

有人統計了Discord上最大的人工智能產品，以及它們在平臺范圍內的規模。

如下是按邀請頁面流量排序的十大人工智能應用程序，Midjourney位列第一，Pika排在第二。

在排名前十的應用程序中，有4個是圖片生成應用程序，3個是語音/歌曲生成應用程序，2個是視頻生成應用程序。

按流量計算，圖片占了前10名流量的74%，其次是視頻8%，語音/音樂6%。