GPT-4o、Gemini這些頂級(jí)語(yǔ)音模型雖然展現(xiàn)了驚人的共情對(duì)話能力，但它們的技術(shù)體系完全閉源。

現(xiàn)在，紫東太初團(tuán)隊(duì)聯(lián)合長(zhǎng)城汽車AI Lab直接把整個(gè)技術(shù)棧都開源了，推出完全透明開源的端到端共情語(yǔ)音語(yǔ)言大模型OpenS2S。

OpenS2S的核心在于提供一個(gè)高效、低成本構(gòu)建共情語(yǔ)音系統(tǒng)的新范式。

它不僅繼承了團(tuán)隊(duì)在語(yǔ)音到文本共情模型BLSP-Emo上的技術(shù)積累，更引入了流式交錯(cuò)解碼架構(gòu)，實(shí)現(xiàn)了低延遲的實(shí)時(shí)語(yǔ)音生成。OpenS2S提出自動(dòng)化數(shù)據(jù)生成方法，結(jié)合大語(yǔ)言模型與可控文本到語(yǔ)音生成技術(shù)，構(gòu)建多說(shuō)話者、多情感的高質(zhì)量共情語(yǔ)音訓(xùn)練語(yǔ)料。

最為重要的是，團(tuán)隊(duì)開源了構(gòu)建OpenS2S所需的所有資源，包括：訓(xùn)練與微調(diào)數(shù)據(jù)集、數(shù)據(jù)構(gòu)建代碼、模型權(quán)重以及預(yù)訓(xùn)練和微調(diào)代碼，致力于賦能更廣泛的研究社區(qū)，推動(dòng)共情語(yǔ)音系統(tǒng)領(lǐng)域的創(chuàng)新與發(fā)展。

△表1 語(yǔ)音語(yǔ)言大模型的開源程度

核心貢獻(xiàn)

1. 模型的構(gòu)建與訓(xùn)練

OpenS2S 基于先進(jìn)的框架構(gòu)建了高效的端到端語(yǔ)音到語(yǔ)音共情對(duì)話模型，并使用高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練。該模型能夠?yàn)槿祟惻c人工智能提供更便捷、更自然的交互方式。

2. 共情語(yǔ)音指令數(shù)據(jù)集的自動(dòng)化構(gòu)建

OpenS2S提出了一種自動(dòng)化的數(shù)據(jù)增強(qiáng)方法，融合了大語(yǔ)言模型（LLMs）與文本到語(yǔ)音（TTS）技術(shù)的優(yōu)勢(shì)，專為共情語(yǔ)音對(duì)話而設(shè)計(jì)。借助LLMs生成豐富多樣的用戶提問(wèn)與共情回應(yīng)，再通過(guò)語(yǔ)音克隆技術(shù)確保說(shuō)話者身份的多樣性。更重要的是，該技術(shù)實(shí)現(xiàn)了對(duì)語(yǔ)音情感表達(dá)的精準(zhǔn)控制，能夠以極低的人力成本，構(gòu)建出內(nèi)容豐富、高質(zhì)量的訓(xùn)練數(shù)據(jù)集，為共情語(yǔ)音系統(tǒng)的發(fā)展注入強(qiáng)大動(dòng)力。

3. 全面開源發(fā)布

為促進(jìn)學(xué)術(shù)合作與推動(dòng)共情大規(guī)模語(yǔ)音語(yǔ)言模型（LSLMs）領(lǐng)域的快速創(chuàng)新，OpenS2S完整開源了所有核心資源。包括模型權(quán)重、數(shù)據(jù)集構(gòu)建代碼、預(yù)訓(xùn)練與微調(diào)代碼、評(píng)估工具及合成數(shù)據(jù)集，致力于為研究社區(qū)提供完全透明、可復(fù)現(xiàn)的研究基礎(chǔ)，助力共情語(yǔ)音技術(shù)的持續(xù)突破。

技術(shù)方案

OpenS2S 采用模塊化設(shè)計(jì)，包含四大核心組件：

- 音頻編碼器：基于Qwen2-Audio編碼器，高效提取音頻波形中的語(yǔ)義與非語(yǔ)言特征。- 指令遵循大語(yǔ)言模型（LLM）：選用Qwen3-8B-Instruct，發(fā)揮其強(qiáng)大的文本理解與處理能力，實(shí)現(xiàn)精準(zhǔn)指令解析。- 流式語(yǔ)音解碼器：借鑒Minmo與LLaMA-Omni2，采用監(jiān)督語(yǔ)義語(yǔ)音分詞器將語(yǔ)音響應(yīng)離散化為token，隨后通過(guò)自回歸文本到語(yǔ)音模型生成連續(xù)語(yǔ)音token，實(shí)現(xiàn)低延遲流式生成。- Token2Wav解碼器：將生成的語(yǔ)音token轉(zhuǎn)換為最終語(yǔ)音波形，分塊感知因果流匹配模型及HiFi-GAN聲碼器均采用 GLM-4-Voice 中的預(yù)訓(xùn)練組件，保證語(yǔ)音質(zhì)量自然流暢。

**△圖1 OpenS2S架構(gòu)示意圖

數(shù)據(jù)構(gòu)建過(guò)程：

首先，利用強(qiáng)大的LLMs生成多樣化且富有共情色彩的用戶查詢及其對(duì)應(yīng)的回應(yīng)，確保了對(duì)話內(nèi)容的豐富性和真實(shí)性。

接著，通過(guò)引入語(yǔ)音克隆技術(shù)，進(jìn)一步豐富了數(shù)據(jù)集的語(yǔ)音多樣性，使其能夠模擬不同說(shuō)話者的聲音。

更進(jìn)一步，借助InstructTTS技術(shù)，模型能夠?qū)φZ(yǔ)音回應(yīng)中的情感表達(dá)進(jìn)行精確控制，使合成的語(yǔ)音不僅語(yǔ)義連貫，更能在情感層面自然地傳遞共情。

通過(guò)這一自動(dòng)化流程，OpenS2S實(shí)現(xiàn)了以極低的成本合成出大量高質(zhì)量、具備語(yǔ)言多樣性的共情語(yǔ)音對(duì)話數(shù)據(jù)，并且僅需少量人工監(jiān)督，從而為模型學(xué)習(xí)富有共情的人機(jī)交互提供了堅(jiān)實(shí)且可擴(kuò)展的訓(xùn)練基礎(chǔ)。

△圖2共情語(yǔ)音指令數(shù)據(jù)集構(gòu)建的自動(dòng)化流程

訓(xùn)練流程分為三階段：

語(yǔ)音理解預(yù)訓(xùn)練、語(yǔ)音生成預(yù)訓(xùn)練及共情語(yǔ)音指令微調(diào)，全面提升模型對(duì)語(yǔ)音語(yǔ)義和非語(yǔ)言線索的感知能力，最終實(shí)現(xiàn)自然且富有共情的語(yǔ)音響應(yīng)生成。

△圖3 OpenS2S訓(xùn)練過(guò)程示意圖

實(shí)驗(yàn)結(jié)果

端到端語(yǔ)音到語(yǔ)音共情交互相對(duì)難以評(píng)測(cè)，按照兩階段的方式，先進(jìn)行語(yǔ)音到文本的評(píng)測(cè)，再展示語(yǔ)音到語(yǔ)音的共情交互樣例。

語(yǔ)音到文本評(píng)測(cè)能夠驗(yàn)證模型的語(yǔ)音指令遵循能力、語(yǔ)義和情感理解能力。在語(yǔ)音到文本的交互能力評(píng)估中，OpenS2S在VoiceBench的四個(gè)子集上取得了優(yōu)異成績(jī)，其表現(xiàn)僅次于Kimi-Audio（基于超大規(guī)模語(yǔ)音數(shù)據(jù)訓(xùn)練），優(yōu)于其他所有模型。

這表明OpenS2S擁有強(qiáng)大的語(yǔ)音交互能力，能夠高效理解用戶的語(yǔ)音指令輸入。此外，在URO-Bench的共情評(píng)估子集上，盡管訓(xùn)練數(shù)據(jù)量遠(yuǎn)少于現(xiàn)有最先進(jìn)模型，OpenS2S依然取得了很好的表現(xiàn)。

這不僅驗(yàn)證了OpenS2S的共情交互能力，也充分體現(xiàn)了其創(chuàng)新共情語(yǔ)音對(duì)話數(shù)據(jù)生成方法的高質(zhì)量和有效性。

△表2 OpenS2S與其他模型在語(yǔ)音到文本交互基準(zhǔn)測(cè)試中的性能對(duì)比。

在GitHub頁(yè)面上還展示了若干語(yǔ)音到語(yǔ)音的共情對(duì)話樣例。從例子中可以深切感受到模型對(duì)于用戶的精準(zhǔn)理解和共情能力。

論文地址：https://arxiv.org/pdf/2507.05177
Demo樣例地址：https://casia-lm.github.io/OpenS2S
代碼地址：https://github.com/CASIA-LM/OpenS2S
數(shù)據(jù)地址：https://huggingface.co/datasets/CASIA-LM/OpenS2S_Datasets
模型地址：https://huggingface.co/CASIA-LM/OpenS2S