夸張！EMNLP投稿近5000篇，獎項出爐：北大、騰訊摘最佳長論文

作者：機器之心 2023-12-11 13:41:23

人工智能新聞

本屆 EMNLP 大會在投稿人數上創了新高，整體接收率也較上屆略有提升。

EMNLP 是自然語言處理領域的頂級會議之一，EMNLP 2023 于 12 月 6 日 - 10 日在新加坡舉行。

因為今年 ChatGPT 的爆火帶動大模型、NLP 概念，EMNLP 2023 的投稿論文數量也達到近 5000 篇，甚至略高于 ACL 2023。

在接收率方面，長論文接收率為 23.3%，短論文接收率為 14%，整體接收率為 21.3%。這一數據相較 EMNLP 2022 的 20% 略有提升。

我們從這次 EMNLP 的 local chair 李海洲老師的一張 PPT 上，可以感受下這場大會的發展歷程。

除了這些論文數據外，今年 EMNLP 的獲獎論文也備受關注。

EMNLP 2023 頒發了最佳長論文、最佳短論文、最佳主題論文、最佳 Demo 論文和最佳行業論文各一篇，以及多篇不同賽道的杰出論文。

同時，官方公布了 EMNLP 2024 將于 2024 年 11 月 12-16 日、佛羅里達州邁阿密市舉辦。

EMNLP 2023 最佳長論文

論文標題：Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

論文地址：https://aclanthology.org/2023.emnlp-main.609.pdf
機構：北京大學、騰訊 WeChat AI

論文摘要：上下文學習為大型語言模型（LLM）提供了執行不同任務的演示示例，成為了一種很有潛力的機器學習方法。然而，LLM 如何從所提供的上下文中學習的基礎機制仍在探索之中。

因此，北京大學和騰訊 WeChat AI 的研究者通過信息流的視角探究上下文學習的工作機制。研究結果發現，演示示例中的標簽詞發揮了錨點（anchor）的作用，具體表現為以下兩個方面：

語義信息在淺計算層的處理過程中聚合為標簽詞表示；
標簽詞中的整合信息作為 LLM 最終預測的參考。

基于這些發現，研究者提出一種提升上下文學習性能的錨點重加權方法、一種加速推理的演示壓縮技術、以及用于判斷 GPT2-XL 中上下文學習誤差的分析框架。

研究者提出的假設。在淺層，標簽詞從演示中收集信息，以形成語義表示來進行更深層處理；深層從標簽詞中提取并利用這些信息以形成最終預測。

本文研究結果具有前景廣闊的應用，再次驗證了上下文學習的工作機制，為未來研究鋪平了道路。

GPT2-XL 和 GPT-J 上不同壓縮方法的結果比較。

EMNLP 2023 最佳短論文

論文標題：Faster Minimum Bayes Risk Decoding with Confidence-based Pruning

論文地址：https://aclanthology.org/2023.emnlp-main.767.pdf
機構：劍橋大學

論文摘要：最小貝葉斯風險（MBR）解碼是輸出在模型分布上對某個效用函數具有最高預期效用的假設。在條件語言生成問題，尤其是神經機器翻譯中，無論是在人類評估還是自動評估中，它的準確性都超過了束搜索（beam search）。然而，基于采樣的標準 MBR 算法的計算成本遠高于束搜索，它需要大量采樣以及對效用函數的二次調用，這限制了它的適用性。

本文介紹了一種 MBR 算法，它可以逐漸增加用于估計效用的樣本數量，同時剪枝根據引導抽樣獲得的置信估計不太可能具有最高效用的假設。與標準 MBR 相比，該方法所需的樣本更少，調用效用函數的次數也大幅減少，同時準確性方面相差無幾。

算法 2：基于置信的剪枝函數。

研究者使用 chrF++ 和 COMET 作為效用 / 評估指標，在三種語言對的實驗中證明了該方法的有效性。

實驗結果。

EMNLP 2023 最佳主題論文

論文標題：Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs Through a Global Prompt Hacking Competition

論文地址：https://aclanthology.org/2023.emnlp-main.302.pdf
機構：馬里蘭大學、Mila、 Towards AI、斯坦福大學等

論文摘要：大型語言模型 (LLM) 通常部署在用戶直接參與的交互式環境中，例如聊天機器人、寫作助手。這些部署很容易受到即時「注入」和「越獄」（統稱為即時黑客攻擊）的攻擊，其中模型被操縱以忽略其原始指令并遵循潛在的惡意指令。盡管人們廣泛認為這是一個重大的安全威脅，但關于即時黑客攻擊的定量研究仍然比較少。

因此，該研究發起了全球即時黑客競賽，允許自由形式的人工輸入攻擊，并針對三個 SOTA LLM 提出了超過 60 萬條對抗性 prompt。實驗結果表明，當前的 LLM 確實可以通過即時黑客攻擊進行操縱。

prompt 黑客技術分類。

EMNLP 2023 最佳 Demo 論文

論文標題：PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents

論文地址：https://aclanthology.org/2023.emnlp-demo.45.pdf
機構：艾倫人工智能研究院、MIT、加州大學伯克利分校、華盛頓大學、美國西北大學

論文摘要：科研領域的學術文獻往往是復雜的、理論的，并且大部分是 PDF 格式的文檔，查閱文獻需要花費大量時間。為了解決該問題，該論文提出一個開源的 Python 工具包 ——papermage，用于分析和處理視覺效果豐富、結構化的科學文檔。

papermage 通過將不同的 SOTA NLP 和 CV 模型集成到一個統一的框架中，為科學文獻提供了清晰直觀的抽象，并為常見的科學文檔提供處理用例。在學術文獻搜索引擎 Semantic Scholar 的支持下，papermage 已經可以處理多個 AI 應用研究原型的科學文獻。

EMNLP 2023 最佳行業論文

論文標題：Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems

論文地址：https://aclanthology.org/2023.emnlp-industry.9.pdf
機構：亞馬遜 Alexa AI 研究團隊

論文摘要：語音控制的人工智能對話系統容易受語音變化噪音的干擾，并且難以解決含糊不清的實體問題。通常情況下，部署個性化實體解析（ER）、查詢重寫（QR）從這些錯誤模式中恢復。以往的工作通過限制檢索空間至用戶與設備的歷史互動建立的個性化索引來實現個性化。雖然這種限制性檢索能夠實現高精度，但預測僅限于用戶近期歷史中的實體，因此無法廣泛覆蓋未來的請求。此外，為大量用戶維護單個索引需要既耗費內存又難以擴展。

本文提出了一種個性化實體檢索系統，它不局限于個性化索引并對語音噪聲和歧義具有穩健性。研究者將用戶的收聽偏好嵌入到檢索中使用的上下文查詢嵌入中。他們展示了提出模型糾正多種錯誤模式的能力，并在實體檢索任務上比基線提高了 91%。他們還優化了端到端方法，使其在保持性能提升的同時，也符合在線延遲的限制。

其他杰出論文獎

除了以上獎項，EMNLP 2023 官方還頒發了一些賽道的杰出論文獎，如賓夕法尼亞州立大學研究者的論文《The Sentiment Problem: A Critical Survey towards Deconstructing Sentiment Analysis》獲得了情感分析、文體分析和論據挖掘賽道的杰出論文獎。