論文鏈接：?https://arxiv.org/pdf/2302.06476.pdf?

大型語言模型（LLM）已經被證明能夠解決各種自然語言處理（NLP）任務，而且對于給定的下游任務，它們不依賴任何訓練數據，借助適當的 prompt 就能實現模型調整。這種根據指令執行新任務的能力可以被視為邁向通用人工智能的重要一步。

盡管目前的 LLM 在某些情況下取得了不錯的性能，但在 zero-shot 學習中仍然容易出現各種錯誤。此外，prompt 的格式可以產生實質性的影響。例如，在 prompt 中添加「Let’s think step by step」，模型性能就能得到??顯著提升???。這些限制說明當前的 LLM 并不是真正的通用語言系統。

近日，OpenAI 發布的 ChatGPT LLM 在 NLP 社區引發極大關注。ChatGPT 是通過「人類反饋強化學習（RLHF）」訓練 GPT-3.5 系列模型而創建的。RLHF 主要包括三個步驟：使用監督學習訓練語言模型；根據人類偏好收集比較數據并訓練獎勵模型；使用強化學習針對獎勵模型優化語言模型。通過 RLHF 訓練，人們觀察到 ChatGPT 在各個方面都具有令人印象深刻的能力，包括對人類輸入生成高質量的響應、拒絕不適當的問題以及根據后續對話自我糾正先前的錯誤。

雖然 ChatGPT 顯示出強大的對話能力，但與現有的 LLM 相比，NLP 社區仍然不清楚 ChatGPT 是否獲得了更好的 zero-shot 泛化能力。為了填補這一研究空白，研究者們通過在涵蓋 7 個代表性任務類別的大量 NLP 數據集上對 ChatGPT 進行評估，系統地研究了它的 zero-shot 學習能力。這些任務包括推理（reasoning）、自然語言推斷（natural language inference）、問答（閱讀理解）、對話、摘要、命名實體識別和情感分析。借助廣泛的實驗，研究者旨在回答以下問題：

• ChatGPT 是一個通用的 NLP 任務求解器嗎？ChatGPT 在哪些類型的任務上表現良好？
• 如果 ChatGPT 在某些任務上落后于其他模型，那原因是什么？

為了回答這些問題，作者根據實驗結果比較了 ChatGPT 和最先進的 GPT-3.5 模型 (text-davinci-003) 的性能。此外，他們還報告了 FLAN、T0 和 PaLM 等近期工作的 zero-shot、微調或 few-shot 微調結果。

主要結論?

作者表示，據他們所知，這是第一次有人對 ChatGPT 在各種 NLP 任務上的 zero-shot 能力進行研究，旨在提供 ChatGPT 的初步概況。他們的主要發現如下：

• 雖然 ChatGPT 作為一個通才模型顯示了一些可以執行多個任務的能力，但它通常比針對給定任務進行微調的模型表現要差（見圖 1 和第 4.3 節）。
• ChatGPT 的卓越推理（reasoning）能力在算術推理任務中得到了實驗證實（第 4.2.1 節）。然而，ChatGPT 在常識、符號和邏輯推理任務中的表現通常不如 GPT-3.5，例如通過生成不確定的響應可以看出來（第 4.2.2 節）。
• ChatGPT 在偏向于推理能力的自然語言推斷任務（第 4.2.3 節）和問答（閱讀理解）任務（第 4.2.4 節）方面優于 GPT-3.5，例如確定文本對中的邏輯關系。具體來說，ChatGPT 更擅長處理與事實一致的文本（即，更擅長對蘊含而不是非蘊含進行分類）。
• ChatGPT 在對話任務方面優于 GPT-3.5（第 4.2.5 節）。
• 在摘要任務方面，ChatGPT 會生成更長的摘要，比 GPT-3.5 表現要差。然而，在 zero-shot 指令中明確限制摘要長度會損害摘要質量，從而導致性能降低（第 4.2.6 節）。
• 盡管顯示出作為通才模型的前景，但 ChatGPT 和 GPT-3.5 在某些任務上都面臨挑戰，例如序列標注（第 4.2.7 節）。
• ChatGPT 的情感分析能力接近 GPT-3.5（第 4.2.8 節）。

方法

如前文所述，該研究主要比較了 ChatGPT 和 GPT-3.5 (textdavinci-003) 在不同任務下的 zero-shot 學習性能。具體而言，他們將任務指令 P 和測試問題 X 作為輸入，模型用 f 表示，然后生成目標文本 Y = f (P, X) 來解決測試問題。不同任務的指令和輸入格式如圖 2 和圖 3 所示。

包含六種任務（情感分析、自然語言推理、命名實體識別、問答、對話和摘要）的指令和輸入格式。指令為藍色字體。 

推理任務說明。

舉例來說，當模型執行情感分析任務時，任務指令 P 將文本所包含的情感標記為積極或消極，則輸出的答案為積極或消極。當模型在閱讀了指令 P 和輸入內容 X（內容為一部具有相當力量和真實性的令人驚嘆的抒情作品）后，該模型經過判斷，有望輸出 Y 積極。

與上述單階段 prompting 方法不同的是，該研究使用兩階段 prompting（Kojima 等人提出），來完成 zero-shot-CoT。

第一階段采取「讓模型一步一步思考（Let’s think step by step）」，指令 P_1 誘導模型生成基本原理 R。

第二階段采用第一步生成的基本原理 R 以及原始輸入 X 和指令 P_1 作為新的輸入，引導模型生成最終答案。

之后一個新的指令 P_2 作為提取答案的觸發語句。所有任務指令均取自 Brown、Ouyang、Zhang 等人研究，或受其啟發。最后需要注意的是，每次對 ChatGPT 進行新的查詢時，都要提前清除對話，以避免前面示例的影響。

實驗

實驗用 20 個不同的數據集來評估 ChatGPT 和 GPT-3.5，涵蓋 7 類任務。

算術推理

ChatGPT 和 GPT-3.5 在沒有或有 CoT 的情況下，在六個算術推理數據集上的準確率如表 2 所示。在沒有 CoT 的實驗中，ChatGPT 在其中 5 個數據集上的性能優于 GPT-3.5，顯示了其強大的算術推理能力。

圖 4 顯示了 GPT-3.5 給出錯誤答案的情況。在圖的左側，問「溫迪在玩電子游戲，有 43 條命。在游戲的艱難部分，她失去了 8 條生命。如果她在下一關多得到 39 條命，她會有多少條命？」ChatGPT 給出了正確答案。然而，GPT-3.5 生成了一個錯誤的答案。可以看出，在使用 CoT 時，ChatGPT 的性能都比 GPT-3.5 好得多。

常識、符號和邏輯推理

表 3 報告了 ChatGPT 與流行 LLM 在常識、符號和邏輯推理數據集上的準確率?？梢缘玫饺缦掠^察結果：首先，使用 CoT 可能并不總是在常識推理任務中提供更好的性能，常識推理任務可能需要更細粒度的背景知識。其次，與算術推理不同，ChatGPT 在很多情況下的表現都比 GPT-3.5 差，說明 GPT-3.5 的相應能力更強。

為了分析原因，該研究在圖 5 中展示了 ChatGPT 的幾個失敗案例。我們可以觀察到 ChatGPT 很容易產生不確定的響應，從而導致性能不佳。

自然語言推理

表 4 展示了不同模型在兩個自然語言推理任務上的結果：RTE 和 CB。我們可以看到，在 zero-shot 設置下，ChatGPT 可以取得比 GPT-3.5、FLAN、T0 和 PaLM 更好的性能。這證明 ChatGPT 在 NLP 推理任務中，具有較好的 zero-shot 性能。

問答

表 6 報告了不同模型在 BoolQ 數據集的準確率，ChatGPT 優于 GPT-3.5 。這表明 ChatGPT 可以更好地處理推理任務。

對話?

表 8 中顯示了 ChatGPT 和 GPT-3.5 在 MuTual 數據集（多輪對話推理）上的準確率。正如預期的那樣，ChatGPT 大大優于 GPT-3.5。 

圖 6 為一個具體的示例，我們可以看到 ChatGPT 能夠更有效地對給定的上下文進行推理。這再次印證了 ChatGPT 超強的推理能力。

生成摘要

表 9 報告 ChatGPT 和 GPT-3.5 在 SAMSum 數據集上的 ROUGE 得分，令人驚訝的是，ChatGPT 在所有指標上都不如 GPT-3.5。

命名實體識別

表 10 報告了 ChatGPT 和 GPT-3.5 在 CoNLL03 上的 zero-shot 性能。我們可以看到 ChatGPT 和 GPT-3.5 的整體性能非常相似。

情感分析?

表 11 比較了不同模型在情感分析數據集 SST2 上的準確率。令人驚訝的是，ChatGPT 的表現比 GPT-3.5 差了大約 1%。

如需了解更多內容，請參考原論文。