近年來(lái)，人工智能（Aritificial Intelligence, AI），尤其是以大語(yǔ)言模型（Large Language Models, LLMs）為代表的 AI 正以驚人的速度發(fā)展，這些模型在多種自然語(yǔ)言處理任務(wù)中展現(xiàn)了卓越的能力。然而，盡管在許多領(lǐng)域取得了突破，代表著人類(lèi)頂尖語(yǔ)言水平的同聲傳譯（Simultaneous Interpretation, SI）依然是一個(gè)未被完全攻克的難題。

市面上傳統(tǒng)的同聲傳譯軟件通常采用級(jí)聯(lián)模型（cascaded model）的方法，即先進(jìn)行自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition, ASR），然后再進(jìn)行機(jī)器翻譯（Machine Translation, MT）。這種方法存在一個(gè)顯著的問(wèn)題 —— 錯(cuò)誤傳播。ASR 過(guò)程中的錯(cuò)誤會(huì)直接影響到后續(xù)的翻譯質(zhì)量，導(dǎo)致嚴(yán)重的誤差累積。此外，傳統(tǒng)的同聲傳譯系統(tǒng)由于受限于低延時(shí)的要求，通常只使用了性能較差的小模型，這在應(yīng)對(duì)復(fù)雜多變的實(shí)際應(yīng)用場(chǎng)景時(shí)存在瓶頸。

來(lái)自字節(jié)跳動(dòng) ByteDance Research 團(tuán)隊(duì)的研究人員推出了端到端同聲傳譯智能體：Cross Language Agent - Simultaneous Interpretation, CLASI，其效果已接近專(zhuān)業(yè)人工水平的同聲傳譯，展示了巨大的潛力和先進(jìn)的技術(shù)能力。CLASI 采用了端到端的架構(gòu)，規(guī)避了級(jí)聯(lián)模型中錯(cuò)誤傳播的問(wèn)題，依托于豆包基座大模型和豆包大模型語(yǔ)音組的語(yǔ)音理解能力，同時(shí)具備了從外部獲取知識(shí)的能力，最終形成了足以媲美人類(lèi)水平的同聲傳譯系統(tǒng)。

• 論文地址：https://byteresearchcla.github.io/clasi/technical_report.pdf
• 展示頁(yè)面：https://byteresearchcla.github.io/clasi/

效果展示

視頻 Demo：首先用幾則即興視頻來(lái)感受一下 CLASI 的效果，所有字幕均為實(shí)時(shí)錄屏輸出。我們可以看到，無(wú)論是語(yǔ)速超快、發(fā)音復(fù)雜的繞口令，還是精妙絕倫的文言文，又或是充滿(mǎn)即興和靈感的隨意聊天，模型都能流暢自然地給出準(zhǔn)確而地道的翻譯結(jié)果。更不用說(shuō)，CLASI 在其老本行 —— 會(huì)議場(chǎng)景翻譯中表現(xiàn)得尤為出色。

即興對(duì)話(huà)-星座

朗讀-赤壁賦

繞口令

更多視頻可點(diǎn)擊「閱讀原文」進(jìn)行查看

定量對(duì)比：研究人員分別在中英、英中翻譯語(yǔ)向上，針對(duì) 4 個(gè)不同領(lǐng)域邀請(qǐng)專(zhuān)業(yè)的同傳譯員進(jìn)行了人工評(píng)測(cè)，使用了與人工同傳一致的評(píng)價(jià)指標(biāo)：有效信息占比（百分制）。圖中可以看到，CLASI 系統(tǒng)大幅領(lǐng)先所有商業(yè)系統(tǒng)和開(kāi)源 SOTA 系統(tǒng)，并且在某些測(cè)試集上甚至達(dá)到或超過(guò)了人類(lèi)同傳水平（一般認(rèn)為人類(lèi)同傳平均水平大概在 80%）。

系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)上，CLASI 采用了基于 LLM 智能體的架構(gòu)（下圖左），將同聲傳譯定義為一系列簡(jiǎn)單且協(xié)調(diào)的操作，包括讀入音頻流，檢索（可選），讀取記憶體，更新記憶體，輸出等。整個(gè)流程由大語(yǔ)言模型自主控制，從而在實(shí)時(shí)性和翻譯質(zhì)量之間達(dá)到了高效的平衡。該系統(tǒng)能夠根據(jù)實(shí)際需求靈活調(diào)整各個(gè)環(huán)節(jié)的處理策略，確保在高效傳遞信息的同時(shí)，保持翻譯內(nèi)容的準(zhǔn)確性和連貫性。CLASI 底層模型是一個(gè) Encoder-conditioned LLM，在海量的無(wú)監(jiān)督和有監(jiān)督數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練。CLASI 模型的系統(tǒng)架構(gòu)如下圖所示。

圖 1：圖示展示了 CLASI 的整體操作流程。在步驟 1 中，CLASI 處理當(dāng)前輸入的音頻數(shù)據(jù)。接下來(lái)檢索器會(huì)被激活（可選），從用戶(hù)自定義的知識(shí)庫(kù)中獲取相關(guān)信息。在這個(gè)示例中，使用知識(shí)庫(kù)中的翻譯對(duì) “伊辛模型: Ising model” 能夠幫助模型輸出正確的譯文。在步驟 3 中，CLASI 從上一輪的記憶體中加載轉(zhuǎn)寫(xiě)（可選）和翻譯。接下來(lái)（步驟 4 和步驟 5），CLASI 可能會(huì)啟用思維鏈（CoT）來(lái)輸出轉(zhuǎn)寫(xiě)（可選）和翻譯結(jié)果，然后更新其記憶體。最后，返回步驟 1 以處理下一輪的語(yǔ)音。

圖 2：CLASI 的結(jié)構(gòu)圖。在第 r 輪中，CLASI 將當(dāng)前音頻流、前序的記憶體（r-1）和檢索到的知識(shí)（如果有）作為輸入。CLASI 根據(jù)給定的指令輸出響應(yīng)，然后更新記憶體。同時(shí)，CLASI 還會(huì)輸出截止當(dāng)前，最后一個(gè)語(yǔ)義片段的截止時(shí)間戳。對(duì)于給定的示例，短語(yǔ) “就在” 之前的內(nèi)容被認(rèn)為是完整的語(yǔ)義片段，所以截止時(shí)間戳就在此短語(yǔ)之前。

實(shí)驗(yàn)結(jié)果

表 1：人工評(píng)測(cè)有效字段占比（Valid Information Proportion, VIP）中，CLASI 系統(tǒng)顯著超過(guò)了其他所有競(jìng)品，并且在兩個(gè)語(yǔ)向上均達(dá)到了 78% 以上的準(zhǔn)確性。一般而言，可以認(rèn)為人類(lèi)同傳的準(zhǔn)確性在 70% 以上，理想情況下可以達(dá)到 95%，研究人員以 80% 的準(zhǔn)確性作為高水平人類(lèi)譯員的平均標(biāo)準(zhǔn)。

示例分析

中翻英：

英翻中：

可以看到在多個(gè)方面，CLASI 的翻譯均顯著優(yōu)于商用系統(tǒng)。

總結(jié)

來(lái)自字節(jié)跳動(dòng) ByteDance Research 團(tuán)隊(duì)的研究人員提出了基于豆包大模型的同傳智能體：CLASI。得益于大規(guī)模預(yù)訓(xùn)練和模仿學(xué)習(xí)，在人工評(píng)估中，CLASI 的表現(xiàn)顯著優(yōu)于現(xiàn)有的自動(dòng)同聲傳譯系統(tǒng)的性能，幾乎達(dá)到人類(lèi)同傳水平。

1. 研究人員提出了一種通過(guò)模仿專(zhuān)業(yè)人類(lèi)譯員的、數(shù)據(jù)驅(qū)動(dòng)的讀寫(xiě)策略。該策略無(wú)需復(fù)雜的人類(lèi)預(yù)設(shè)計(jì)，即可輕松平衡翻譯質(zhì)量和延遲。與大多數(shù)商業(yè)系統(tǒng)在翻譯過(guò)程中頻繁重寫(xiě)輸出以提高質(zhì)量不同，該策略保證所有輸出在保持高質(zhì)量的同時(shí)是確定性的。

2. 人類(lèi)譯員一般需要預(yù)先準(zhǔn)備同傳內(nèi)容，受此啟發(fā)，研究人員引入了一種多模態(tài)檢索增強(qiáng)生成（MM-RAG）過(guò)程，使 LLM 實(shí)時(shí)地具有領(lǐng)域特定的知識(shí)。所提出的模塊在推理過(guò)程中以最小的計(jì)算開(kāi)銷(xiāo)進(jìn)一步提高了翻譯質(zhì)量。

3. 研究人員與專(zhuān)業(yè)人類(lèi)同傳譯員密切合作，制定了新的人工評(píng)估策略 “有效信息占比”(VIP)，并公開(kāi)了詳細(xì)的指南。同時(shí)也發(fā)布了一個(gè)更接近現(xiàn)實(shí)場(chǎng)景的長(zhǎng)語(yǔ)音翻譯的多領(lǐng)域人工標(biāo)注測(cè)試集。