專治「圖片誤用」!Elsevier、Nature等頂刊用AI揪出作弊科學家
前不久,我們剛起底了一位靠PS大法發(fā)表多篇論文的諾獎得主。
而現(xiàn)在,越來越多的學術(shù)出版機構(gòu)開始使用AI軟件來發(fā)現(xiàn)被篡改的數(shù)據(jù),那些心存僥幸的科學家們可要三思而后行了。
圖片誤用乎?
在現(xiàn)今的學術(shù)圈,把同一張細胞群的圖片復制、翻轉(zhuǎn)、旋轉(zhuǎn)、移動、裁剪后再利用,可是相當普遍的情況。
利用這些被篡改的圖片,研究人員裝出他們擁有很多數(shù)據(jù)、做了很多實驗的樣子,而真實情況并非如此。
根據(jù)美國癌癥研究協(xié)會 (AACR)的運營總監(jiān)Daniel Evanko的說法,圖像重復是AACR在2016年至2020年間撤回論文的主要原因。而撤稿不僅會損害作者的名譽,還會損害出版商的聲譽。
為了避免給雙方帶來尷尬,像AACR這樣的學術(shù)出版物在發(fā)布論文前,已經(jīng)開始用AI軟件來檢測圖像重復了。這個軟件叫Proofig,一個由以色列初創(chuàng)公司開發(fā)的圖像檢查程序。
Evanko在9月初于芝加哥舉行的國際同行評審和科學出版大會上,展示了試點研究的結(jié)果,介紹了Proofig對AACR產(chǎn)生了怎樣的影響。
AACR出版十種研究期刊,每年審查超過13,000份投稿。從2021年1月到2022年5月,官員們使用Proofig篩選了1,367份暫時接受出版的論文,檢查出了208份存在圖像重復的論文,聯(lián)系了論文作者。
據(jù)外媒報道:在很多情況下,論文中的圖像重復是由于「圖片誤用」,這個問題只要通過提交新數(shù)據(jù)就可以解決。
小編對此表示:就這么簡單?
在另外一些情況下,Proofig顯示出了非常明確的造假跡象。這208篇論文中,有4篇被撤回,1篇被拒。
一直以來,學術(shù)造假并不罕見,在信譽不佳的機構(gòu)中時有發(fā)生。然而現(xiàn)在,在著名大學的頂級實驗室中,學術(shù)造假事件都頻頻被發(fā)現(xiàn)。
Science最近發(fā)布的一項調(diào)查報告稱,數(shù)十年的阿爾茨海默氏癥研究中的新療法之所以無果,臨床試驗之所以失敗,都是基于一篇圖像重復的高引用論文。
Proofig發(fā)現(xiàn)的其中一個造假證據(jù),就是利用蛋白質(zhì)印跡(Western blots)技術(shù)產(chǎn)生的一系列模糊線條,這些線條被復制、編輯和粘貼到了小鼠數(shù)據(jù)中。而未經(jīng)訓練的眼睛很難發(fā)現(xiàn)這種造假。
Proofig的CEO Dror Kolodkin-Gal表示,尋找這種微妙的變化對大多數(shù)人類來說是一項相當乏味的任務,但它非常適合計算機。
2019諾獎得主Gregg L. Semenza的「圖片誤用」
Proofig在工作時,首先會檢查一個特定的圖像是否與論文中的其他子圖像匹配。子圖像可能是經(jīng)過移動、翻轉(zhuǎn)或旋轉(zhuǎn),或者被裁剪、復制的,有相當多的可能性。
Proofig會結(jié)合計算機視覺和人工智能算法,來提取和分類圖像。這種計算十分復雜,好在現(xiàn)在的機器學習進展神速。
「在人工智能出現(xiàn)之前,僅僅從論文中提取子圖像就需要十倍的研發(fā)投入,而且天知道該如何進行計算。無論是算法上的技術(shù)進步,還是在云中運行GPU的能力,都帶來了巨大的改變。」Kolodkin-Gal這樣說。
仍需人工參與
當然,Proofig這樣的AI 軟件,并不能自己找出作弊者。
圖像取證專家和獨立科學顧問Elisabeth Bik表示:要想解釋軟件得出的結(jié)果,我們?nèi)匀恍枰粋€具有相關(guān)知識和經(jīng)驗的人。畢竟,在某些情況下,人眼是可以勝過計算機的。
「你不能讓軟件自行運轉(zhuǎn),因為它可能會標記出很多并沒有問題的東西。」
Bik在工作中使用了另一種AI軟件——ImageTwin。有時,它并不能很清晰地分析蛋白質(zhì)的印跡。「蛋白質(zhì)印跡基本上就是一條純背景上的黑色條紋。我用人類的肉眼能夠看到形狀上的一些細微之處,但這個軟件不知何故就是看不到。」
「這大概是因為我們的眼睛和大腦的工作原理是超級復雜的。我想,也許是因為這個軟件只查找相對距離,所以黑色條紋看起來就是個黑色條紋。它也不太擅長尋找小的邊緣,或與其他形狀相似的形狀。」Bik說。
2019諾獎得主Gregg L. Semenza的「圖片誤用」
檢查蛋白質(zhì)印記對于機器來說非常有挑戰(zhàn)性,Kolodkin-Gal同意這個說法。「我們花了很多投資,才終于找到一個好的算法,來找到那些條帶。這對人工智能來說太有挑戰(zhàn)性了,因為這些條帶非常小。」
在出版過程的不同階段,學術(shù)出版物都會使用像Proofig這樣的圖像檢查工具。AACR會掃描所有被初步接收的論文手稿,而Taylor&Francis公司只會用它來檢查被編輯或同行評審員提出疑問的論文。
「如果軟件檢測到潛在的圖像復制或其他操作,并且這個判斷得到了我們的專家團隊的支持,我們將按照既定程序和出版道德委員會針對此類事件制定的指導方針展開調(diào)查。」某公司的發(fā)言人這樣說。
在發(fā)稿流程中,何時使用這些工具,取決于成本。圖像處理是計算密集型的,因此出版物必須為像Proofig這樣的公司支付云計算成本。
2019諾獎得主Gregg L. Semenza的「圖片誤用」
在提交階段就篩選每篇論文的話,成本實在太高了。例如,使用Proofig分析120個子圖像,需要花費99美元。而要徹底檢查一篇論文,Proofig需要在一篇論文中處理所有可能的組合,這可以算一筆「巨款」了。
目前,AACR和Taylor & Francis等組織正在協(xié)商,希望以更便宜的價格,為他們的業(yè)務量身定制一個打包服務。
SAGE的主管Helen King表示:「由于人工監(jiān)督和使用軟件的成本,我們目前在論文進入更高級的審閱階段時,才會使用Proofig。迄今為止,它已經(jīng)在檢測的近三分之一的論文中標記了問題,接下來,就需要相關(guān)的專業(yè)知識來解釋了。」
AI無法檢測不同論文中的復制圖像
現(xiàn)在,越來越多的組織開始使用AI軟件了。
美國臨床研究協(xié)會也采用了Proofig,與此同時Frontiers等出版商也開發(fā)了自己的工具。
Wiley也在使用某種軟件,而PLOS、Elsevier和Nature要么對項目開放,要么會積極測試項目。
盡管人工智能軟件在發(fā)現(xiàn)可疑數(shù)據(jù)方面表現(xiàn)得越來越出色,但它并不能抓到科學家們所有形式的作弊。
Proofig可以檢查圖像是否在同一論文中出現(xiàn)重復,但如果圖像在不同論文中被復制或處理,它就捕捉不到了。顯然,為了應對這種情況,Proofig需要建立一個從已發(fā)表論文中抓取的圖像緩存數(shù)據(jù)庫,來進行全方位的比較。
2019諾獎得主Gregg L. Semenza的「圖片誤用」
「我們面臨的最大挑戰(zhàn),就是大數(shù)據(jù)。」Kolodkin-Gal說。「如果出版物不聯(lián)合起來,建立一個圖像數(shù)據(jù)庫,圖像剽竊仍會是一個大問題。要開發(fā)人工智能,你就必須擁有大數(shù)據(jù)。」
雖然還擁有種種缺陷,但Proofig軟件的出現(xiàn),仍然是打擊作弊和提高學術(shù)誠信的一個良好開端。
「我確實認為出版物開始使用軟件是一件非常好的事,因為它為出版過程提供了一些質(zhì)量控制,會起到威懾作用。這類軟件會讓作者知道:我們將針對這些類型的重復審查你的論文。在我看來,它無法阻止造假,但它會讓造假變得更難一點。」Bik說。
如果AI真的能對學術(shù)造假行為產(chǎn)生足夠的威懾,那可真是善事一樁了。