2021 年是自然語言處理（NLP）和機器學習（ML）非常高產的一年，現在是時候統計一下去年 NLP 和 ML 領域的論文了。

來自劍橋大學機器學習和自然語言處理的研究員 MAREK REI 總結分析了 2021 年經典論文，并歸納了 2021 年 ML 和 NLP 出版物的統計數據，他對人工智能行業的主要會議和期刊進行了分析，它們包括 ACL、EMNLP、NAACL、EACL、CoNLL、TACL、CL、NeurIPS、AAAI、ICLR、 ICML。

論文的分析是使用一系列自動化工具完成的，可能并不完美，會存在一些紕漏和錯誤。出于某些原因，一些作者開始以模糊的形式發布他們的論文，以防止任何形式的內容復制或自動提取內容，分析過程排除了這些論文。

現在我們看一下 MAREK REI 統計結果。

以學術會議統計

大多數會議的投稿量不斷上升并打破紀錄。ACL 似乎是一個例外， AAAI 幾乎趨于平穩，而 NeurIPS 仍保持穩定增長。

以機構統計

2021 年發表論文數斷層式領先的研究機構當屬谷歌；微軟排名第二；CMU、斯坦福大學、Meta 和 MIT 排名緊隨其后，清華大學位居第七。微軟、CAS、亞馬遜、騰訊、劍橋、華盛頓和阿里巴巴在 NLP 會議上擁有相當大比例的論文脫穎而出，而其他頂級組織似乎主要關注 ML 領域。 

從 2012-2021 年的數據來看，谷歌發表了 2170 篇論文位居第一，超過了微軟發表的 2013 篇論文。CMU 發表了 1881 篇論文，排名第三。

大多數機構還在繼續增加其年度出版物數量。谷歌發表論文數量以前呈線性增長，現在這一趨勢有所緩解，但仍然比以前發表的論文多；CMU 去年有一個平臺期，但今年已經彌補了這一點；IBM 似乎是唯一一家發表論文略有下滑的機構。

以作者統計

接下來，讓我們看看 2021 年發表論文最多的研究人員。Sergey Levine（加州大學伯克利分校電氣工程和計算機科學系助理教授）發表了 42 篇論文，排名第一；劉鐵巖（微軟）、周杰（清華大學）、Mohit Bansal（北卡羅來納大學教堂山分校）、Graham Neubig（CMU）發表論文數量排名也比較靠前。

縱觀 2012-2021 年，Sergey Levine 發表的論文位居榜首，去年他排名第六，今年一躍排名第一；Yoshua Bengio（蒙特利爾）、Graham Neubig (CMU)、張岳 (西湖大學)、周明 (創新工場首席科學家)、 Ting Liu (哈爾濱工業大學) 等人發表論文數量排名也比較靠前。

Sergey Levine 以相當大的優勢創造了新的記錄；Mohit Bansal 的論文數量也大幅增加，2021 年發表了 31 篇論文，與 Graham Neubig 持平；Yoshua Bengio 的論文數量在 2020 年有所減少，但現在又上升了。

以第一作者發表論文統計

發表論文數量最多的研究人員通常是博士后和導師。相比之下，以第一作者身份發表論文較多的通常是從事實際研究的人。

Ramit Sawhney（Tower Research Capital 技術總監）在 2021 年發表了 9 篇有影響力的論文，Jason Wei（谷歌）、Tiago Pimentel （劍橋大學博士生）分別發表了 6 篇比較有影響力的論文。

從 2012-2021 年分布來看，Ivan Vuli? （劍橋大學）和 Zeyuan Allen-Zhu（微軟）都以第一作者身份發表了 24 篇比較有影響力的論文，并列第一；Yi Tay （谷歌）和李紀為（香儂科技）排名第二，分別以第一作者身份發表了 23 篇和 22 篇論文比較有影響力的論文；Ilias Diakonikolas （威斯康星大學麥迪遜分校）以第一作者身份發表了 15 篇 NeurIPS 論文。

以國家統計

2021 年各國出版物數量，美國出版物數量最多，中國和英國分別位列第 2、第 3。在美國和英國，NeurIPS 所占比例最大，而 AAAI 在中國占比最大。

縱坐標從上到下分別為 500、1000、1500、2000、2500，依次類推

幾乎所有排名靠前的國家都在繼續增加其出版物數量，并在 2021 年創造了新的記錄。對于美國來說，這一增長是最大的，進一步擴大了領先優勢。

在美國，谷歌、微軟和 CMU 再次位居出版數量之首。

在中國，清華大學、中國科學院和北京大學在 2021 年發表的論文最多。

以主題相關度統計

通過可視化得出，這些組織主要是根據地理位置的接近程度聚集在一起的，公司位于中間。

我們也可以將作者進行可視化，不過這種可視化有些難以理解。

以關鍵詞統計

我們還可以繪制包含特定關鍵詞的論文比例，并跟蹤這一比例隨時間的變化。

「neural」一詞似乎有輕微的下降趨勢，雖然你仍可以在 80% 的論文中見到它。同時，「recurrent」和「convolutional」的占比也在下降，而「transformer」一詞出現在了 30% 以上的論文中。

如果單看「adversarial」一詞，我們會發現它在 ICLR 中很常見，幾乎一半的論文都提到了它。ICML 和 NeurIPS 中的「adversarial」比例似乎之前已經達到頂峰，而 AAAI 還沒有。

在過去的幾年里，「transformer」一詞變得非常流行。它在 NLP 論文中應用尤其廣泛，超過 50% 的已發表論文都包含它，在所有的 ML 會議中，它的受歡迎程度也在穩步上升。