超長小說可以用AI翻譯了，新型多智能體協作系統媲美人工翻譯
機器翻譯 (MT) 的最新進展顯著提高了各個領域的翻譯質量。然而，由于其復雜的語言、比喻表達和文化差異，文學文本的翻譯仍然是一個艱巨的挑戰。
最近，一篇題為《(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts》的論文，提出了一種用于文學翻譯的基于大型語言模型（LLM）的新型多智能體框架，并構建了一家名為 TRANSAGENTS 的虛擬出版公司（文學翻譯多智能體系統）。
- 論文：(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
- 論文地址：https://arxiv.org/abs/2405.11804
該框架通過利用多個智能體的集體能力來反映傳統的翻譯出版流程，以解決復雜的翻譯問題。為了評估系統的有效性，該研究還提出兩種創新的評估策略：單語人類偏好（MHP）和雙語 LLM 偏好（BLP）。MHP 從目標語言的單語讀者的角度評估翻譯質量，而 BLP 使用高級 LLM 直接將翻譯與原文進行比較。
實驗結果表明，人類評估者和 LLM 都更喜歡 TRANSAGENTS 的翻譯，而不是人類撰寫的參考翻譯，特別是在需要特定領域知識的情況下。
多智能體虛擬公司 ——TRANSAGENTS
該研究構建了一家虛擬多智能體翻譯出版公司 TRANSAGENTS，擁有多元化的員工，包括首席執行官、高級編輯、初級編輯、譯員、本地化專家和校對員。當人類客戶分配書籍翻譯任務時，由 TRANSAGENTS 選定的智能體團隊將協作翻譯書籍。這模擬了整個圖書翻譯過程，其中不同角色的智能體協同工作，以確保翻譯始終保持高質量和一致性。
為了增強翻譯過程中模擬的真實性和有效性，該研究利用 GPT-4-turbo 為每個不同的角色生成一組多樣化的虛擬智能體配置文件（30 個）。如下圖所示，這些配置文件經過全面設計，包含遠遠超出語言技能范圍的廣泛屬性。
該研究使用兩種智能體協作策略，包括加減協作（Algorithm 1）和三方協作（Algorithm 2）。
加減協作策略僅涉及兩個智能體。一個充當加法智能體，負責提取盡可能多的相關信息；另一個充當減法智能體，負責檢查提取的信息，消除冗余細節，并向加法智能體提供反饋。
三方協作將協作分為三個分支：
- 行動（Action）：遵循指令并實施所需行動；
- 批評：審查生成的響應并給行動分支提供建設性反饋；
- 判斷：對響應是否滿意做出最終決定，并決定是否需要進一步修改。
每個分支分配一個智能體。
評估實驗
該研究在 WMT2023 DLLT 測試集上進行了自動評估，結果如下表所示：
雖然 TRANSAGENTS 在 d-BLEU 指標上表現不佳，但 d-BLEU 有局限性，可能不會充分捕捉生成文本的質量和連貫性。
與 Reference 1、GPT-4（GPT-4-1106-PREVIEW）相比，TRANSAGENTS 生成的翻譯受到人類評估者偏好（MHP）情況如下圖所示。
該研究還使用雙語 LLM 偏好（BLP）評估了 TRANSAGENTS，結果如下圖所示：
感興趣的讀者可以閱讀論文原文，了解更多研究內容。
本文轉自 機器之心 ，作者：機器之心
