近年來，人工智能領域對于大型計算機會議審稿機制的詬病與日俱增，這一切背后的矛盾源于論文作者、會議主辦方和審稿人三方并不一致的利益：

• 論文作者希望他們的論文被會議接收；
• 會議主辦方希望接收更多的優質論文以提高會議的聲譽（會議質量）；
• 審稿人則希望避免過多的審稿工作量（審稿壓力）。

因此，如何在論文數量大幅增加的大環境下權衡會議質量和審稿壓力是達到三方利益均衡的核心問題。去年，來自人工智能領域的學者針對如何改進會議審稿和決策機制這一問題提出了眾多看法和建議，這些想法被匯總為一篇 23 頁的谷歌文檔。其中一條想法十分有趣并得到了多人認同：

文檔鏈接：https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

這一想法源于這樣一個反直覺的現象， 本文稱之為重投悖論（resubmission paradox）：

每年有大量論文會被拒收（人工智能頂會例如 NeurIPS 接收率常年低于 30%），其中大部分論文會在僅有微調甚至完全沒有改動的情況下參與重投，最終總會被同一會議或同級別的會議接收。既然大部分論文終究會被接收，那為什么不降低論文的接收門檻使得更多論文在經過更少次數的重投后就可以被接收？這樣就可以避免同一篇論文被審稿人反復閱讀進而降低審稿壓力。

盡管這一想法看上去十分合理，本文作者提出用博弈論模型描述作者和會議之間的互動，并對這一想法給出了否定的回答，研究論文已被 Economics and Computation (2022) 接收。在這一模型下，本文了討論不同的審稿和決策機制在權衡會議質量和審稿壓力中的表現，比如以下問題：

• 如何確定最優的接收門檻？
• 是否應該增加一篇論文的審稿人數量？
• 提高審稿質量有什么好處？
• 是否應該作者同時提供論文的以往審稿意見？
• ……

論文鏈接：https://arxiv.org/pdf/2303.09020v1.pdf

1. 模型概述

本文將作者向學術會議提交論文并審稿的過程建模為重復博弈，具體流程如下：

首先，每個作者有一篇論文準備提交。在每一輪投稿中，作者進行二選一決策：將論文提交到頂會還是 sure bet（比如聲望較低的二類會議）。提交到頂會和 sure bet 的結果取決于審稿機制和論文質量：

• 頂會有一定概率接收論文，一旦接收，作者會獲得較大的收益；
• sure bet 保證論文一定接收，但帶來的收益較小。

其中，頂會的決策完全取決于審稿人的評審意見， 比如設置一個接收閾值，當且僅當平均審稿分數高于閾值時接收該論文，而作者的收益隨著重投次數指數折減。

頂會承諾一個審稿 / 決策機制，作者針對該機制做出最佳策略；而頂會則需要在考慮作者最佳回應策略的前提下，設計出能權衡會議質量和審稿壓力的最優機制。

2. 主要結論

利用上述建模方法，本文得出一些重要結論，包括：

1）作者的最優策略?

在一個簡化的模型中（更復雜的模型詳見原文），本文做出如下假設：作者知道其論文的真實質量，會議的決策是無記憶的（每輪審稿的決策僅取決于該輪審稿人的意見），并且作者有無窮次重投機會。在這種情況下，作者存在一個閾值最優策略：

• 如果論文質量高于閾值，作者將選擇投稿頂會，并且無論經歷多少次拒稿，作者都會選擇重投，直到中稿；
• 如果論文質量低于閾值，作者將立即選擇 sure bet。

通常情況下作者的提交閾值 Θ 低于會議的接收閾值 τ，如下圖所示。

以上結論可以用來解釋重投悖論：為什么接收更多論文不能從本質上降低審稿壓力？這是因為降低會議的接收閾值 τ 會同時降低作者的提交閾值 Θ，進而吸引更多低質量論文的提交。如下圖所示，如果接收閾值降低，一部分從前選擇投稿二類會議的論文（紫色區域）如今選擇投稿頂會。

2）會議質量和審稿壓力?

頂會的審稿 / 決策機制需要權衡會議質量和審稿壓力，二者不可兼得。

• 會議質量 = 所有被接收論文的質量之和
• 審稿壓力 = 一篇論文從投稿到最終被接收被審稿次數的期望值

改變接收閾值會同時改變會議質量和審稿壓力（如下圖）。

圖為會議質量（縱坐標）和審稿壓力（橫坐標）關于接收閾值的變化曲線，σ 為審稿人噪音的標準差。

以下三種情況可以得到會議質量和審稿壓力之間更優的權衡（達到相同的會議質量只需更小的審稿壓力）：

• 更好的審稿質量 ——— 審稿人噪音更低；
• 更低的頂會聲譽 ——— 相比 sure bet，頂會帶來的收益更低；
• 更短見的作者 ——— 作者收益在多輪重投下有更大的折減。

3. 結語

本文旨在呼吁學術會議改進審稿和決策機制時應考慮不同機制對論文作者帶來的激勵，更多有趣的結論詳見論文原文，比如論文接收率主要受什么因素影響？作者在不能準確知道自己論文質量的情況下的最優策略是什么？要求作者提供論文的以往審稿意見對會議有什么樣的影響？

當然，本文的理論模型在不同層面上存在很多局限性：比如本文沒有考慮審稿壓力對審稿質量的負反饋效應，以及會議質量對作者收益的正反饋效應，并且認為論文質量不會在拒稿過程中得到提高等等。對于會議同行評審系統的討論和改進不會止步于此，從博弈的角度理解會議審稿機制尤為重要，歡迎感興趣的讀者查看論文原文或致信文章作者，以討論更多研究細節。