本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

什么？同行評(píng)審已經(jīng)可以被AI程序取代了？

就在4月1日，英國(guó)牛津大學(xué)提出了最新的評(píng)審標(biāo)準(zhǔn)算法——State-Of-the-Art Review，SOAR，同時(shí)開源了它的Python程序代碼。

SOAR優(yōu)化了過去同行評(píng)審多目標(biāo)、大規(guī)模分布、延遲極高的缺陷。

這篇顛覆現(xiàn)在同行評(píng)審制度的論文，已被“國(guó)際AI頂會(huì)”SIGBOVIK 2020收錄。

SIGBOVIK是在每年4月1日舉辦的學(xué)術(shù)會(huì)議，只有一天的議程，但是接收的論文都是全球頂尖名校和科技巨頭的頂級(jí)研究。

今年在大會(huì)上發(fā)表的SOAR智能系統(tǒng)，必將把人工審核機(jī)制掃進(jìn)歷史垃圾堆。

其他還靠人工審核論文的AI頂會(huì)表示瑟瑟發(fā)抖。不過大會(huì)評(píng)委們倒是很開心，因?yàn)橐院蟛槐刈龀粤Σ毁嶅X的活了。

船新的論文評(píng)分系統(tǒng)

目前同行評(píng)審系統(tǒng)存在著無法擴(kuò)展、運(yùn)行速度慢、結(jié)果不一致的問題。其中，審稿人看稿速度慢是主要問題，另外暴增的博士生數(shù)量也不可忽略。

從1990年到2010年，授予博士學(xué)位的人數(shù)呈指數(shù)式增長(zhǎng)，但是谷歌搜索收錄的論文數(shù)量在過去幾年中卻沒有太大變化，即使旋轉(zhuǎn)坐標(biāo)軸也無法保持上升趨勢(shì)。

以上證據(jù)表明，要么是現(xiàn)在博士的工作效率比其之前都要低，要么是現(xiàn)有的評(píng)審系統(tǒng)沒有提供足夠的能力審核越來越多的論文。

很顯然是后者。

因此來自牛津大學(xué)的研究人員提出了SOAR計(jì)劃。SOAR包含兩個(gè)重要參數(shù)：

1、對(duì)文章中的SOTA單詞數(shù)量進(jìn)行計(jì)數(shù)，數(shù)字越高越可信。

2、另外就是判斷文章新穎性，統(tǒng)計(jì)文中novelty這個(gè)單詞出現(xiàn)的數(shù)量。

然后我們就得到了SOAR的計(jì)算公式：

計(jì)算SOAR分?jǐn)?shù)的代碼也很簡(jiǎn)單，我們可以通過Python 3.7.2的collections.Counter對(duì)象傳遞來實(shí)現(xiàn)SOAR算法。

而且，算法實(shí)現(xiàn)的成本很低，即使你沒有計(jì)算機(jī)，也可以讓研究生通過鉛筆劃線的方式，手工算出SOAR。

不過第二種算法的難度在于，需要提高研究生的忍耐力，并說服其更好地利用時(shí)間，這一點(diǎn)在實(shí)驗(yàn)上還未得到驗(yàn)證。

arXiv網(wǎng)站是我們看論文常去的地方。

如果你沒有“SOAR人肉計(jì)算器”，牛津大學(xué)的研究人員還開發(fā)了arXiv的SOAR插件，可以對(duì)未經(jīng)同行評(píng)審的論文打分，節(jié)省科研工作者的篩選時(shí)間。

插件的實(shí)際效果如下：

頂會(huì)SIGBOVIK真的很“頂”

SIGBOVIK從2007年開始舉辦，最初由CMU的高級(jí)計(jì)算機(jī)科學(xué)家Harry Q. Bovik帶頭，計(jì)算機(jī)異端學(xué)會(huì)組織，今年已是第14屆。

SIGBOVIK是一個(gè)研究?jī)?nèi)容相當(dāng)多元化的計(jì)算機(jī)頂級(jí)學(xué)術(shù)會(huì)議。

過去SIGBOVIK討論的內(nèi)容就有：無能專家系統(tǒng)、深空導(dǎo)航、困惑理論、大型多人在線游戲、后悔最少算法、獨(dú)自編譯、人工智障、自然智能等等。

今年的大會(huì)可謂一波三折，本來計(jì)劃3月1日截止投稿，但是一拖再拖，直到3月27日才截止。4月1日就舉辦了大會(huì)。

如此高的審核效率，不得不讓人懷疑今年的大會(huì)評(píng)審是不是就已經(jīng)用上了SOAR系統(tǒng)。

SIGBOVIK大會(huì)今年總共只接受了11篇論文，其中不乏CMU這樣的名校，也不乏Google、Yandex等知名科技公司，

廣大科研工作認(rèn)為，在SOAR系統(tǒng)的加持下，SIGBOVIK將會(huì)是超越ICLR、CVPR水平的頂會(huì)。

以上內(nèi)容純屬娛樂。

論文地址：

https://arxiv.org/abs/2003.14415

SIGBOVIK大會(huì)首頁(yè)：

http://sigbovik.org/

會(huì)議全程錄像：

https://www.youtube.com/watch?v=ClfBtwoHPeg