騙人還是文字強！MIT最新研究：DeepFake換臉還不如編輯動動筆
?DeepFake，自面世以來就被列為了潛在的「壞AI」。
不論是著名的「加朵換頭色情片」，還是各種用DeepFake變聲的銀行轉賬騙局，DeepFake的相關消息似乎都擺脫不了負面背景。
不過MIT的最新研究表明，偽造文字信息的破壞力要遠高過偽造的圖片或視頻。
這與傳播領域的舊觀點相反，過往學界認為當同一版本的內容以視頻而不是文本形式呈現時，人們會更容易被假消息欺騙。
DeepFake還是太「年輕」
超現實視覺效果技術的最新進展引發了人們的擔憂，即政治演講的DeepFake視頻很快將與真實的視頻在視覺上無法區分。
然而，視聽信息如何影響人們對假消息的易感性，針對此項目的實證研究很少。
最近，MIT媒體實驗室的科學家向5727人展示了16篇真實的政治演講片段和16篇被DeepFake加工篡改過的演講片段。
聲音片段以文本、視頻和音頻的排列形式呈現，例如帶有字幕的視頻等。
論文鏈接：https://arxiv.org/pdf/2202.12883.pdf
受試者被告知其中一半的內容是假的，并被詢問他們認為其中哪些片段是偽造的。
在僅顯示文本時，受訪者在識別謊言（57% 的準確率）方面僅比隨機猜測好一點。
當給出帶字幕的視頻時，受訪者的猜測更準確（66%），而在同時顯示視頻和音頻時更成功（82%）。
也就是說，受試者在觀看視頻或聽音頻時比閱讀文字記錄時更能識別事件是否真的發生。
這些發現還表明，普通人有時（但并非總是）能夠識別出由DeepFake同步變造產生的視覺失真效果。
按照論文作者的解釋，受試者的判斷基礎更多依賴于內容表達的方式而非內容本身。
受試者在帶音軌視頻上的判斷率比無聲視頻更準確、在無聲視頻上的判斷率又比文字更準確，是因為影、音、文字三種載體中，影、音除了內容本身，還有說話人的各種微小表情、動作、語音模式等方面的細微差異。
如果旁觀者無法觀察這些細微差異，光從書面文字上判定何為真實演講、何為AI生成，準確率是只能達到一半一半的拋硬幣程度。
論文作者稱：「偽造的政治演講視頻比偽造的文字記錄更容易識別，這一發現強調了重新讓人們憶起常被遺忘的『眼見為實』格言的必要性?！?/span>
不過此研究有明顯局限：研究者生成的DeepFake材料并不是真實性超級出眾的。
研究者自己都警告：「真正危險的偽造視頻，可能并不是普通算法隨便生成的DeepFake視頻，而是經過精加工、極引人入信的單一視頻?！?/span>
總統DeepFake數據集中的32個視頻
在當下時局中，這一警示尤有現實意義。公眾一直在懷疑東歐沖突中的一方會制造另一方總統宣布投降的DeepFake視頻。
這些擔憂可以理解，不過當下散播的各種假消息還幾乎沒用到DeepFake技術。
按《今日美國》事實核查組的成員稱，在動蕩時局中，造假者搜索、剪裁舊的影音材料，安上時下新消息的名目再貼出，這種造假行為的難度比DeepFake低多了。
例如，一段TikTok視頻聲稱展示了最近在烏克蘭發生的爆炸，但實際來源在1月份就已經有了。
正如本研究所揭示的，DeepFake可能會影響公眾事件的結果，但徹頭徹尾的謊言和簡單剪切編輯，是傳播假消息的更為突出的形式。
當然，這并不意味著DeepFake沒有危險。
只不過更原始的欺騙技術可能威脅更大。
補充實驗
與不同演講和模式條件下準確性的高變異性相比，受試者的確信程度變化較小。
在文字記錄中，受試者的平均確信度為81%。在視頻和音頻呈現的演講上，受試者的確信度分別提高了6%和9%。如果把所有內容都提供給受試者，則可以讓確信度提高12%。
也就是說當受試者通過視頻和音頻接收到更多的信息時，受試者的加權準確性、確信度、對捏造的演講的辨別力和對真實演講的辨別力都會平均增加。
不過，研究人員發現字幕似乎對結果并沒有明顯的影響。
受試者反應時間的中位數是24秒，比視頻的平均長度長3秒。無聲的、有字幕的視頻的反應時間中位數是31秒，比其他所有模式條件的反應時間略長。
在所有7種模式條件下，受試者對偽造內容的反應時間比真實內容要短。其中，文字、視頻和音頻分別為3.8秒、2.5秒和3.7秒。
此外研究人員發現，相對于所有其他模式的條件，受試者對識別文字記錄的真實性有更大的偏差。
下圖a顯示，受試者對文字稿的準確度大多低于無聲的字幕視頻。同樣地，c顯示受試者對有聲視頻的準確率始終高于無聲字幕視頻。與此相反，b顯示了受試者在有字幕和無字幕的情況下表現的異質性。
受試者對32個演講中的每個演講的文字記錄、無聲視頻和有聲視頻判斷的準確性
總的來說，信息載體的確影響辨別準確性：受試者在判斷有音頻的視頻時，比無聲視頻更準確；在判斷無聲視頻時，比文本記錄更準確。同時，研究者發現受試者更多地依賴于說話人的語言方式、微表情、動作等視聽線索，而非內容本身來判斷。
評估偽造和非偽造演講之間的這種難度上的不對稱加劇了「說謊者的紅利」，即消息會被偽造的普遍可能性，會讓公眾質疑所有消息都是偽造的，從而使撒謊者能夠避免對真實的負面新聞負責。
不過，研究者發現當演講與政治家固有的公眾印象不符時，會降低參與者對視覺線索的依賴。演講者所說的話與受試者對說話者的期望相匹配的程度，被研究者稱為「期望違反啟發式」。
而且，研究者發現反思性推理會影響受試者依靠視覺信息的程度：受試者「認知反思測試」的低分數，與對視覺線索的依賴不足、對內容的同時過度依賴是正相關的。
用白話說，越笨、越不動腦子的人，越容易單純取信于政客演講的內容，而不觀察政客說話時的表情與動作。
如何辨別
MIT的研究人員從100,000個DeepFake視頻和19,154個在公開的Kaggle競賽中，訓練了一系列神經網絡來檢測DeepFake。
根據機器學習模型的表現，研究人員篩選出了3000個最容易被誤判的視頻。這些視頻不僅僅是機器學習模型難以辨別的，而且對許多人來說也很難辨別真假。
研究人員認為，多接觸接觸被DeepFake編輯了的視頻可以提高人們的判斷力。于是便建立了之前提到的「Detect Fakes」網站，并公開展示了數千個高質量的DeepFake和真實視頻。
雖然不能靠著單一的線索來辨別哪個是假的，不過可以留意一下以下這8個要點。
- 注意臉部：DeepFake幾乎都是面部改造。
- 注意臉頰和額頭：皮膚是否顯得太光滑或皺紋過多？皮膚的老化程度是否與頭發和眼睛的老化程度相似？DeepFake在某些方面往往是不協調的。
- 請注意眼睛和眉毛：陰影是否出現在應該出現的地方？DeepFake往往不能對真實的物理學進行重現。
- 注意眼鏡：是否存在眩光，還是炫光過多？移動時，眩光的角度是否改變？再一次，DeepFake表現出了物理學方面的弱點。
- 注意面部的毛發：看起來是否真實？DeepFake可能會添加或去掉鬢角或胡須，但通常會有違和感。
- 注意面部的痣：看起來真實嗎？
- 注意眨眼：次數是否正常還是過多？
- 注意嘴唇的大小和顏色：是否與此人面部的其他部分相匹配？?
