整理 | 言征

OpenAI 的視頻生成工具 Sora在2月份讓業(yè)界大吃一驚，其流暢、逼真的視頻似乎遠(yuǎn)遠(yuǎn)領(lǐng)先于競(jìng)爭(zhēng)對(duì)手。然而這場(chǎng)精心策劃的首次亮相，留給了大眾太多不為人知的細(xì)節(jié)。

近日， OpenAI 大火的宣傳短片的制作團(tuán)隊(duì)之一的Shy Kids接受了媒體采訪，并分享了自己作為少數(shù)最早使用Sora技術(shù)的視頻創(chuàng)作者的酸甜苦辣。

OpenAI Sora宣傳短片之一（Air Head 氣球人）

Shy Kids 是一個(gè)位于多倫多的數(shù)字制作團(tuán)隊(duì)，被 OpenAI 選為少數(shù)幾個(gè)主要出于 OpenAI 宣傳目的制作短片的團(tuán)隊(duì)之一，他們?cè)趧?chuàng)作“Air Head”時(shí)被賦予了相當(dāng)大的創(chuàng)作自由。

而且值得注意的是，這些短片并不完全是由Sora生成的，在接受媒體采訪時(shí)，后期制作藝術(shù)家 Patrick Cederberg 將“實(shí)際使用 Sora”描述為“這只是他作品的一部分”。

然而大眾卻可能會(huì)先入為主地認(rèn)為：這些逼真生動(dòng)的短片完全是由 Sora 制作的。

然而，事實(shí)是這些都是專(zhuān)業(yè)制作，配有強(qiáng)大的故事板、編輯、色彩校正，以及動(dòng)態(tài)觀察和視覺(jué)特效等后期工作。

就像蘋(píng)果公司在宣傳時(shí)說(shuō)“在 iPhone 上拍攝”，但事后沒(méi)有展示工作室設(shè)置、專(zhuān)業(yè)燈光和色彩工作一樣，Sora 的帖子只談?wù)撍屓藗冏鍪裁矗皇撬麄儗?shí)際上是如何做到的。

Cederberg 的采訪很有趣，而且非常非技術(shù)性。盡管Sora模型令人印象深刻，但它可能并沒(méi)有我們想象的那般美好。

1、并沒(méi)有適當(dāng)?shù)墓δ芗瘉?lái)完全控制一致性

目前，控制仍然是最令人渴望的，也是最難以捉摸的。……我們能得到的最接近的結(jié)果就是在提示中進(jìn)行過(guò)度描述。解釋角色的服裝以及氣球的類(lèi)型是我們解決一致性的方法，因?yàn)橹饌€(gè)鏡頭/一代又一代，還沒(méi)有適當(dāng)?shù)墓δ芗瘉?lái)完全控制一致性。

換句話說(shuō)，傳統(tǒng)電影制作中的簡(jiǎn)單問(wèn)題（例如選擇角色服裝的顏色）到了Sora這里，反而需要更為復(fù)雜的解決方法，同時(shí)需要在生成系統(tǒng)中進(jìn)行檢查，因?yàn)槊總€(gè)鏡頭都是獨(dú)立于其他鏡頭創(chuàng)建的。這種情況后續(xù)可能會(huì)改善，但目前肯定還是非常費(fèi)力。

此外，還必須注意Sora的輸出是否有多余的元素：Cederberg描述了模型如何在氣球上生成一張臉（主角的頭部），或者一條掛在前面的繩子。如果他們無(wú)法通過(guò)提示可以刪除這些臉或繩子，那么就必須通過(guò)后期刪除它們，這是另一個(gè)耗時(shí)的過(guò)程。

圖片

人物或攝像機(jī)的精確時(shí)間和動(dòng)作的控制，實(shí)際上也是做不到的：“對(duì)于這些不同動(dòng)作在實(shí)際生成中發(fā)生的位置有一點(diǎn)時(shí)間控制，但這并不精確......這有點(diǎn)像在黑暗中拍攝，”說(shuō)Cederberg。

例如，與手動(dòng)動(dòng)畫(huà)不同，對(duì)像揮手這樣的手勢(shì)進(jìn)行計(jì)時(shí)是一個(gè)非常近似的、“建議驅(qū)動(dòng)”的過(guò)程。像角色身體向上平移這樣的鏡頭，也并不總是能呈現(xiàn)出電影制片人想要的內(nèi)容。在這種情況下，團(tuán)隊(duì)不得不自己渲染一個(gè)縱向構(gòu)圖的鏡頭，并在后期進(jìn)行了裁剪平移。生成的剪輯也經(jīng)常是慢動(dòng)作，沒(méi)有特殊原因。 

圖片

Sora的一個(gè)鏡頭以及它如何在短片中生成的

Cederberg說(shuō)，事實(shí)上，使用電影制作的日常語(yǔ)言，比如“向右平移”或“跟蹤鏡頭”，一般來(lái)說(shuō)是不一致的，團(tuán)隊(duì)發(fā)現(xiàn)這非常令人驚訝。

“研究人員在讓藝術(shù)家使用這個(gè)工具之前，并沒(méi)有真正像電影制作人那樣思考，”他說(shuō)。

結(jié)果，該團(tuán)隊(duì)進(jìn)行了數(shù)百次生成，每次生成 10 到 20 秒，最終只使用了其中的少數(shù)作品。Cederberg 估計(jì)該比例為 300:1 — 但當(dāng)然，我們可能都會(huì)對(duì)普通拍攝的比例感到驚訝。

此外，該團(tuán)隊(duì)實(shí)際上制作了一些幕后視頻來(lái)解釋他們遇到的一些問(wèn)題。就像許多與人工智能相關(guān)的內(nèi)容一樣，這些評(píng)論對(duì)整個(gè)努力相當(dāng)批評(píng)——盡管不像我們最近看到的受到嘲笑的人工智能輔助廣告那么謾罵。

2.Sora有某種機(jī)制拒絕涉嫌版權(quán)問(wèn)題的生成

最后一個(gè)有趣的問(wèn)題與版權(quán)有關(guān)：如果你要求 Sora 給你一個(gè)“星球大戰(zhàn)”剪輯，它會(huì)拒絕。如果你試圖用“復(fù)古未來(lái)派宇宙飛船上拿著激光劍的長(zhǎng)袍男子”來(lái)繞過(guò)它，它也會(huì)拒絕，因?yàn)樗ㄟ^(guò)某種機(jī)制識(shí)別出你想要做什么。它還拒絕進(jìn)行“阿羅諾夫斯基式鏡頭”或“希區(qū)柯克變焦”。

一方面，這是完全有道理的。但它確實(shí)提出了一個(gè)問(wèn)題：如果 Sora 知道這些是什么，是否意味著模型接受了該內(nèi)容的訓(xùn)練，可以更好地識(shí)別它是否侵權(quán)？OpenAI 將其訓(xùn)練數(shù)據(jù)卡保密到了荒謬的地步，就像首席技術(shù)官 Mira Murati 接受喬安娜·斯特恩 (Joanna Stern) 的采訪一樣，幾乎可以肯定永遠(yuǎn)不會(huì)告訴我們。

至于 Sora 及其在電影制作中的使用，它顯然是一個(gè)強(qiáng)大且有用的工具，但它的作用并不是“用整塊布制作電影”。“那會(huì)是后來(lái)的事。”

來(lái)源： 51CTO技術(shù)棧 作者：言征