人們常說「隔行如隔山」，機(jī)器學(xué)習(xí)社區(qū)在外行人眼里是什么樣的？

近日，一位來自傳統(tǒng)行業(yè)的從業(yè)者觀察了機(jī)器學(xué)習(xí)研究社區(qū)的現(xiàn)狀，發(fā)現(xiàn)了一些問題并在 reddit 上發(fā)帖，不少機(jī)器學(xué)習(xí)從業(yè)者也紛紛表達(dá)觀點(diǎn)，參與討論。

帖子作者注意到，機(jī)器學(xué)習(xí)社區(qū)內(nèi)有很多研究者正致力于優(yōu)化、控制、信號(hào)處理等「舊領(lǐng)域」的交叉研究，他們會(huì)突然發(fā)表大量聲稱要解決某個(gè)問題的論文，問題本身通常是近期的，使用的方法會(huì)包含一些深度神經(jīng)網(wǎng)絡(luò)。

然而仔細(xì)一看，這些研究唯一新穎的地方只有提出的問題，而不是研究人員解決該問題的方案。

讓他困惑的是，為什么大量這種看起來水平一般，幾乎就是對(duì)各領(lǐng)域內(nèi) 20 世紀(jì) 80 年代，甚至 60 年代以后的技術(shù)重新編排的文章卻能夠被接受？經(jīng)過仔細(xì)研究，作者發(fā)現(xiàn)機(jī)器學(xué)習(xí)社區(qū)存在一些問題。

只有機(jī)器學(xué)習(xí)頂會(huì)歡迎

許多研究者只在機(jī)器學(xué)習(xí)會(huì)議上發(fā)表論文，而不會(huì)在其研究的專屬會(huì)議或期刊（例如優(yōu)化和控制領(lǐng)域期刊）上發(fā)表。例如，在一篇對(duì)抗機(jī)器學(xué)習(xí)論文中，整篇論文的內(nèi)容幾乎都是關(guān)于解決一個(gè)優(yōu)化問題的，但提出的優(yōu)化方法基本是其他成熟研究成果的變體。作者還注意到，如果一篇論文沒有被 NeurIPS 或 ICLR 接收，它就會(huì)被轉(zhuǎn)投給 AAAI 或其他名氣小一點(diǎn)的會(huì)議，真是一點(diǎn)也不浪費(fèi)。 

[[388405]]

有人評(píng)論稱，這其實(shí)和會(huì)議的名氣有關(guān)：「在 NeurIPS 等機(jī)器學(xué)習(xí)頂會(huì)上發(fā)表的研究，收益可能是其他會(huì)議的十倍。但有一些子領(lǐng)域的會(huì)議也很受重視，比如計(jì)算機(jī)視覺領(lǐng)域的 CVPR、自然語言處理領(lǐng)域的 ACL 會(huì)議等?！?/p>

審稿人不了解領(lǐng)域內(nèi)研究進(jìn)展

通過開放評(píng)審，我發(fā)現(xiàn)審稿人（不只是研究者）對(duì)所屬的具體領(lǐng)域一無所知。他們似乎只是在審核論文的正確性，而不是新穎性。實(shí)際上，我對(duì)審稿人是否了解該方法的新穎程度表示懷疑。

評(píng)論區(qū)有網(wǎng)友表示：這一問題也是存在的，但似乎很難解決。因?yàn)闄C(jī)器學(xué)習(xí)領(lǐng)域正在呈爆炸式增長(zhǎng)，并不是每個(gè)審稿人都能夠跟得上該領(lǐng)域的發(fā)展步伐，有些審稿人掌握的知識(shí)信息的確有些滯后。

引用混亂

通常，ML 領(lǐng)域的研究人員只會(huì)從最近幾年的研究中引用自己或其他機(jī)器學(xué)習(xí)從業(yè)者的研究。偶爾會(huì)有一個(gè)引用數(shù)百年前研究的情況，那可能是因?yàn)榕c牛頓、柯西等人的經(jīng)典研究有關(guān)。然后引用研究的年份就會(huì)突然跳到 2018、2019 年。

有人指出，這一問題主要是追溯難度太大造成的。經(jīng)過多年的發(fā)展，很多名詞術(shù)語的叫法已經(jīng)和幾十年前不一致了。當(dāng)前機(jī)器學(xué)習(xí)社區(qū)中的論文引用主要來自于谷歌搜索，有些名詞想要找到其原始出處并不容易。

堆砌數(shù)學(xué)公式

論文中經(jīng)常存在堆砌數(shù)學(xué)公式的情況，形成一堵巨大的「數(shù)學(xué)墻」，例如證明特征值、梯度、雅可比矩陣等數(shù)學(xué)問題的深?yuàn)W條件。有些定理其實(shí)并不適用，因?yàn)樵诟叨确峭沟纳疃葘W(xué)習(xí)應(yīng)用中，定理的前提條件就不滿足。因此，從這些錯(cuò)綜復(fù)雜的數(shù)學(xué)定理中唯一獲得的東西就是一些微弱的直覺，這些直覺還可能會(huì)被立刻推翻。

有網(wǎng)友指出，「數(shù)學(xué)墻」非常令人沮喪。由于帶有數(shù)學(xué)公式的論文似乎更容易被接收，很多論文都加入了公式，但有時(shí)公式并不是必要的。

為什么會(huì)出現(xiàn)這種情況？有人猜測(cè)說，一個(gè)不太專業(yè)的審稿人可能會(huì)拒絕自己看不懂的想法，因?yàn)?ta 不喜歡這個(gè)想法。但在看到「數(shù)學(xué)墻」之后，ta 可能會(huì)給出更加嚴(yán)謹(jǐn)?shù)膶徃褰Y(jié)果，如「弱接收（Weak Accept）」或「弱拒稿（Weak Reject）」。

缺乏后續(xù)研究

作者還發(fā)現(xiàn)，有些研究者在提出一個(gè)超越其他研究的新基準(zhǔn)之后，并不會(huì)進(jìn)行更多后續(xù)研究來進(jìn)一步發(fā)展該研究提出的技術(shù)方法。但在其他領(lǐng)域，研究團(tuán)隊(duì)中的一些成員后續(xù)會(huì)花費(fèi)大量時(shí)間和精力去完善該研究所提出的方法，有些研究甚至?xí)灤┠承┭芯空叩穆殬I(yè)生涯。

上述幾個(gè)問題使得機(jī)器學(xué)習(xí)社區(qū)在某種程度上成為一個(gè)「回聲室」，研究者只是將大量已知的研究結(jié)果重新編排，并用其問題的新穎性來掩飾創(chuàng)新的缺失。然而這些論文都能被接收，因?yàn)楹苌儆腥四馨l(fā)現(xiàn)這些研究是缺乏新穎性的。

綜合以上問題，這位來自傳統(tǒng)行業(yè)的作者最后表示：「機(jī)器學(xué)習(xí)社區(qū)就像一棵自動(dòng)接收論文的搖錢樹?！?/p>

討論

在評(píng)論區(qū)，我們還發(fā)現(xiàn)了一些新的觀點(diǎn)和看法。

一位來自物理學(xué)領(lǐng)域的研究者表示：「理論物理學(xué)等硬科學(xué)中也存在一些類似問題?！海ㄕ撐模┎话l(fā)表就會(huì)被埋沒（Publish or Perish）』的觀念根深蒂固，以至于沒有人理智地嘗試解決一些實(shí)際且有意義的問題。」

這位理論物理學(xué)家還指出，不僅研究方向有所偏頗，發(fā)表論文的周期也在變短，研究質(zhì)量因此降低。發(fā)表論文量成為了一種評(píng)價(jià)標(biāo)準(zhǔn)，很少有研究者潛心解決科學(xué)難題了。

此外，有人表示：「有些 ML 研究者似乎并不了解性能提升的根本原因，他們只是做了一些簡(jiǎn)單的改進(jìn)。」這也是一件令人沮喪的事情。

盡管這些問題只代表原帖作者和部分機(jī)器學(xué)習(xí)從業(yè)者的看法，但這不失為機(jī)器學(xué)習(xí)社區(qū)的一種縮影，有待解決與改善。