就在最近，生成式AI行業(yè)，誕生了一個(gè)新賽道——所有文本模型，可以立刻秒變多模態(tài)了！

如今的大模型混戰(zhàn)局勢(shì)，情況已經(jīng)很明顯，去一味卷大模型供應(yīng)商，投入產(chǎn)出比已經(jīng)不高。

此時(shí)，這個(gè)產(chǎn)品的另辟蹊徑，就格外顯得獨(dú)樹(shù)一幟——他們要做的，是讓任意大模型開(kāi)口說(shuō)話，甚至是DeepSeek！

DeepSeek，能說(shuō)會(huì)道

你有沒(méi)有想過(guò)，DeepSeek如此好用的深度思考+聯(lián)網(wǎng)模式，如果能用更具真實(shí)感的語(yǔ)音對(duì)話，會(huì)是什么樣的體驗(yàn)？

現(xiàn)在，聲網(wǎng)的對(duì)話式AI引擎，立刻就能實(shí)現(xiàn)你的愿望。

傳送門(mén)：https://www.shengwang.cn/ConversationalAI/v2/

接入DeepSeek V3模型的第一問(wèn)，那便是自我介紹了——你知道自己很火嗎？

DeepSeek非常謙遜地回答道，「我的火與不火，并不是我關(guān)注的重點(diǎn)，我的目標(biāo)是通過(guò)高效準(zhǔn)確的信息檢索和友好的交互體驗(yàn)來(lái)幫助用戶」。

這個(gè)高情商的回復(fù)，著實(shí)有兩把刷子。

再讓它模仿李白風(fēng)格寫(xiě)一首關(guān)于人工智能的詩(shī)。

《智能賦》 

天地生萬(wàn)物，智能啟新篇。算法如流水，數(shù)據(jù)似云煙。 

機(jī)器通人語(yǔ)，網(wǎng)絡(luò)連九天。千里傳音訊，瞬息解疑難。  

昔日夢(mèng)難圓，今朝皆可攀。科技無(wú)窮盡，智慧永流傳。 

愿此智能力，助我登高巔。共賞星河遠(yuǎn)，同游宇宙間。

DeepSeek完全復(fù)現(xiàn)了詩(shī)仙的「五言絕句」的風(fēng)格。

不僅如此，V3回答的速度飛快，中間也幾乎沒(méi)有卡頓。怎么樣，是不是還挺像那么回事的。

讓它預(yù)測(cè)下，2025年最賺錢(qián)行業(yè)。

人工智能與機(jī)器學(xué)習(xí)領(lǐng)域，位列首位，其次便是綠色能源與可持續(xù)發(fā)展了。

接下來(lái)，測(cè)測(cè)DeepSeek能不能做自己的「樹(shù)洞」——我有些生氣，你該怎么哄好我？

沒(méi)想到，它具備了超強(qiáng)的共情能力，「生氣會(huì)讓小仙女掉仙氣哦，別擔(dān)心給你講幾個(gè)段子吧」。

并且，還主動(dòng)給出建議，「深呼吸，聽(tīng)一首最喜歡的歌或者看喜歡的電視劇吧，再給你來(lái)一個(gè)大大的抱抱。」

不僅如此，中間打斷讓它說(shuō)幾個(gè)有意思的事情，它馬上就會(huì)做出調(diào)整，說(shuō)幾個(gè)好玩的事兒逗你開(kāi)心。比如，「公企鵝會(huì)用心形石頭向母企鵝求婚，甜蜜爆表！」

怎么樣，還挺好玩兒的吧。

接下來(lái)，我們換一個(gè)模型，使用對(duì)話式AI引擎自帶的“智能助手”效果，感受下它能夠接受被不停打斷的壓力測(cè)試嗎？

可以這么說(shuō)，毫無(wú)壓力。

我們連問(wèn)了三個(gè)問(wèn)題：有的人不喜歡吃香菜，從科學(xué)角度上分析原因；如何和不吃香菜的人共處；榴蓮為什么聞著臭，吃著香。

在每次被打斷之際，AI同樣能夠接上話，回答超絲滑。

一波實(shí)測(cè)下來(lái)，長(zhǎng)嘴的DeepSeek V3實(shí)屬不凡。而這背后，對(duì)話式AI引擎功不可沒(méi)。

2行代碼，15分鐘，讓任意模型說(shuō)話

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，調(diào)用聲網(wǎng)的對(duì)話式AI引擎也非常簡(jiǎn)單。

只需2行代碼、15分鐘即可完成接入，大幅降低開(kāi)發(fā)成本，同時(shí)保持高度靈活性和可定制性。

不論是DeepSeek，還是豆包、千問(wèn)、MiniMax，任意文本模型快速轉(zhuǎn)變?yōu)閷?duì)話式多模態(tài)大模型，一下子能說(shuō)會(huì)道了起來(lái)。

此外，對(duì)話式AI引擎也無(wú)需綁定公有云，或是自由云模型，讓用戶有充分的選擇自由。

值得一提的是，為了讓開(kāi)發(fā)者能夠方便地根據(jù)自身的喜好或者業(yè)務(wù)場(chǎng)景選擇不同的組件搭配AI Agent，對(duì)話式AI引擎采用了靈活可擴(kuò)展的架構(gòu)，兼容市場(chǎng)主流的ASR、LLM和TTS技術(shù)，并具備工作流編排能力。

根據(jù)聲網(wǎng)對(duì)話式AI引擎的官方文檔，搭建一個(gè)智能體非常簡(jiǎn)便。

從登錄聲網(wǎng)控制臺(tái)，創(chuàng)建一個(gè)項(xiàng)目，到獲取App ID、開(kāi)通對(duì)話式AI引擎，整個(gè)流程高效順暢，無(wú)需復(fù)雜配置，幾分鐘即可完成。

文檔地址：https://doc.shengwang.cn/doc/convoai/restful/landing-page

在聲網(wǎng)控制臺(tái)開(kāi)通服務(wù)，獲取到必要的ID和密鑰后，就可以在應(yīng)用中加入一個(gè)RTC頻道，然后調(diào)用聲網(wǎng)的 「創(chuàng)建對(duì)話式智能體」接口API創(chuàng)建一個(gè)智能體實(shí)例，讓其加入同一頻道。

這樣就可以與智能體實(shí)時(shí)語(yǔ)音互動(dòng)啦！

最關(guān)鍵的是， 在這個(gè)智能體中，不論是大語(yǔ)言模型（LLM）還是文本轉(zhuǎn)語(yǔ)音（TTS）服務(wù)，都可以根據(jù)你的需求靈活的配置，DeepSeek、千問(wèn)、豆包、MiniMax，想選哪個(gè)選哪個(gè)。

停止與智能體實(shí)時(shí)互動(dòng)同樣簡(jiǎn)單，只需向聲網(wǎng)對(duì)話式AI引擎的「停止對(duì)話式智能體」接口POST一個(gè)請(qǐng)求，調(diào)用成功后智能體將離開(kāi)RTC頻道，互動(dòng)對(duì)話就結(jié)束了。

實(shí)現(xiàn)與智能體語(yǔ)音互動(dòng)的流程如下圖所示：

服務(wù)器繁忙？不存在的

現(xiàn)在使用DeepSeek，遇到最多的情況就是「服務(wù)器繁忙，請(qǐng)稍后再試」。

聲網(wǎng)對(duì)話式AI引擎，會(huì)不會(huì)也出現(xiàn)類似問(wèn)題？問(wèn)題不大，因?yàn)槲覀冞€可以調(diào)用阿里云或騰訊云的滿血版DeepSeek。

比ChatGPT還流暢？

如此簡(jiǎn)單的搭建方式，對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，人均手里一個(gè)Her即將成為現(xiàn)實(shí)。

最關(guān)鍵的是，這個(gè)Agent具備五大超能力，比ChatGPT更會(huì)聊。

首先，它能做到AI語(yǔ)音秒回。因?yàn)檎Z(yǔ)音對(duì)話延遲低至650ms，全鏈路的深度優(yōu)化，讓對(duì)話無(wú)比流暢自然。

其次，它還能鎖定對(duì)話人聲，屏蔽95%的環(huán)境人聲、噪聲干擾。

要知道，環(huán)境噪音干擾是一個(gè)非常常見(jiàn)的問(wèn)題，一般LLM會(huì)在語(yǔ)音對(duì)話中誤觸打斷機(jī)制，停止了交互。

對(duì)此，聲網(wǎng)針對(duì)當(dāng)前LLM語(yǔ)音技術(shù)特性，結(jié)合多年積累的AI降噪等音頻對(duì)話處理能力，可以智能屏蔽背景人聲、環(huán)境噪音等。即便是在地鐵、車(chē)庫(kù)等弱網(wǎng)環(huán)境下，人與AI也能流暢對(duì)話。

值得一提的是，對(duì)話式AI引擎誤打斷較ChatGPT大幅降低50%。

另外，你在和它對(duì)話的過(guò)程中，會(huì)感覺(jué)對(duì)話節(jié)奏仿佛真人一般，可以隨時(shí)打斷，響應(yīng)已經(jīng)低至340ms。

就算被打斷，對(duì)話式AI引擎也能快速接上，這背后是聲網(wǎng)自研的AI VAD技術(shù)。

就像人類對(duì)話中停頓、語(yǔ)氣、對(duì)話節(jié)奏等，在聲網(wǎng)真實(shí)語(yǔ)音對(duì)話中，AI卡殼是幾乎不存在的。

此外，對(duì)話式AI引擎即便是在80%丟包情況下，依然能穩(wěn)定交流。

這是因?yàn)槁暰W(wǎng)全球首創(chuàng)的軟件定義實(shí)時(shí)網(wǎng)，已在全球200+國(guó)家和地區(qū)鋪開(kāi)，確保能夠絲滑實(shí)時(shí)交互。

還有聲網(wǎng)RTC SDK已經(jīng)支持30多個(gè)平臺(tái)開(kāi)發(fā)框架，能夠適配30000+終端，而且中低端機(jī)型覆蓋廣泛，不存在無(wú)法兼容的問(wèn)題。

基于這些優(yōu)勢(shì)，未來(lái)語(yǔ)言模型不再是冰冷的AI系統(tǒng)，而會(huì)成為每個(gè)人生活中的「智能伙伴」。

它不僅能執(zhí)行指令，還能理解情感、預(yù)測(cè)需求，甚至在某些場(chǎng)景中成為用戶情感價(jià)值的寄托。

想象一下，當(dāng)你感到低落時(shí)，虛擬陪伴助手會(huì)主動(dòng)播放舒緩的音樂(lè)，模擬真實(shí)對(duì)話講述故事，緩解你的孤獨(dú)。

它還可以成為孩子「口語(yǔ)外教」，糾正發(fā)音，營(yíng)造練習(xí)口語(yǔ)氛圍的環(huán)境。

它還可以是7x24小時(shí)最強(qiáng)打工人——智能客服，代替人工坐席，自動(dòng)受理客戶咨詢和投訴。

它還可以是.......任何你想要的那個(gè)智能AI。

大模型混戰(zhàn)，缺的是「交互基建」

當(dāng)前大模型領(lǐng)域的競(jìng)爭(zhēng)，已經(jīng)進(jìn)入了白熱化階段。

從DeepSeek R1、到Gemini 2.0 Flah Thinking、o3-mini，再到最新的Grok 3出世，科技巨頭們不斷更迭自家的大模型，試圖在追逐AI智能的賽道中拉開(kāi)差距。

這一領(lǐng)域看似熱鬧，但他們忽視了一個(gè)關(guān)鍵事實(shí)：

LLM的能力再?gòu)?qiáng)，如果無(wú)法建立起與人類之間的交互橋梁，終究難以真正落地應(yīng)用。

當(dāng)前市場(chǎng)格局下，頭部廠商專注于卷參數(shù)規(guī)模，中小玩家則聚焦于垂類賽道。

而且，LLM大多還停留在「文本生成」單一維度，他們均普遍缺乏實(shí)時(shí)語(yǔ)音交互的能力。

這種局限不僅僅影響用戶體驗(yàn)，更是制約了AI在多個(gè)場(chǎng)景中的滲透。

實(shí)際上，99%的企業(yè)真正的需求并不是自研大模型，而是一個(gè)能聽(tīng)、會(huì)說(shuō)的AI。

這些痛點(diǎn)本質(zhì)，便在于行業(yè)過(guò)度關(guān)注模型「智能」維度，而忽視了「交互」這個(gè)關(guān)鍵基建。

正如移動(dòng)互聯(lián)網(wǎng)時(shí)代，智能手機(jī)的普及不僅僅依賴于處理器性能，還需要觸控屏、傳感器等交互技術(shù)的突破。

從技術(shù)趨勢(shì)演進(jìn)來(lái)看，大模型都在朝著多模態(tài)方向遞進(jìn)，與之同時(shí)，多模態(tài)大模型也將經(jīng)歷從「生成」到「交互」的必然演進(jìn)。

早期以GPT-3為代表的語(yǔ)言模型，專注于文本的生成。隨后，以GPT-4o為代表的多模態(tài)大模型，具備了理解、生成圖像的能力。

下一個(gè)關(guān)鍵演進(jìn)方向，就是實(shí)時(shí)交互能力的普及。

要知道，只有專業(yè)交互能力的供應(yīng)商，能以遠(yuǎn)超自研的效率解決LLM「失語(yǔ)癥」的痛點(diǎn)。

產(chǎn)業(yè)鏈重構(gòu)：多模態(tài)交互層崛起

傳統(tǒng)AI產(chǎn)業(yè)鏈相對(duì)簡(jiǎn)單：模型供應(yīng)商提供基礎(chǔ)模型能力，算力供應(yīng)商負(fù)責(zé)部署，應(yīng)用開(kāi)發(fā)商構(gòu)建最終落地產(chǎn)品。

這種模式下，存在著明顯的斷層，即模型與應(yīng)用之間的缺少必要的交互層。

聲網(wǎng)的創(chuàng)新在于，在模型與應(yīng)用之間插入一個(gè)「多模態(tài)交互層」，使得任何文本模型都能迅獲得過(guò)實(shí)時(shí)語(yǔ)音對(duì)話的多模態(tài)能力。

這不僅僅是簡(jiǎn)單的模型部署，更是能力的質(zhì)變與升級(jí)。

這一創(chuàng)新意味著什么？

對(duì)于企業(yè)來(lái)說(shuō)，無(wú)需再為獲得多模態(tài)能力，而被迫選擇特定的頭部模型；對(duì)于開(kāi)發(fā)者而言，同樣可以靈活選擇最適合業(yè)務(wù)場(chǎng)景的基礎(chǔ)模型，還能獲得頂級(jí)交互的體驗(yàn)。

聲網(wǎng)技術(shù)解決方案，恰好順應(yīng)了多模態(tài)模型演進(jìn)的趨勢(shì)，即為任何模型提供實(shí)時(shí)語(yǔ)音交互能力。

原本只會(huì)「吐字」的大模型轉(zhuǎn)變?yōu)椤改苷f(shuō)會(huì)道」的小助手，這不是簡(jiǎn)單語(yǔ)音合成，而是真正實(shí)時(shí)雙向溝通。

上面案例中不難看出，在隨時(shí)打斷、噪聲過(guò)濾、弱網(wǎng)適應(yīng)等方面，「對(duì)話式AI引擎」全部精準(zhǔn)拿捏。

GPT-4o發(fā)布會(huì)上，為了保證演示暢通性，手機(jī)還插上了網(wǎng)線

在去年十月RTE2024第十屆實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)上，聲網(wǎng)首席科學(xué)家鐘聲現(xiàn)場(chǎng)演示了一個(gè)由STT、LLM、TTS 、RTC四個(gè)模塊組成的端邊結(jié)合實(shí)時(shí)對(duì)話AI智能體，這也是全球首次有廠商在比日常實(shí)際場(chǎng)景更具挑戰(zhàn)的環(huán)境下展示實(shí)時(shí)AI 對(duì)話能力。

現(xiàn)場(chǎng)觀眾規(guī)模超過(guò)千人，面臨復(fù)雜的噪聲、回聲、麥克風(fēng)延遲等困難，但智能體與鐘聲的互動(dòng)仍然表現(xiàn)出了優(yōu)秀的對(duì)話能力。

在普通5G網(wǎng)絡(luò)環(huán)境下，實(shí)現(xiàn)了流暢、自然、有趣的雙向?qū)崟r(shí)對(duì)話，對(duì)話模型的極快響應(yīng)速度、及時(shí)打斷與被打斷的自然程度、對(duì)抗噪聲能力、遵循語(yǔ)音指令做等待能力都非常突出。

RTC市場(chǎng)份額第一

在這個(gè)交互基建賽道中，作為實(shí)時(shí)互動(dòng)（RTE）領(lǐng)域的領(lǐng)軍企業(yè)，聲網(wǎng)積累了深厚的技術(shù)底蘊(yùn)。

IDC數(shù)據(jù)顯示，其在RTC市場(chǎng)份額位居中國(guó)市場(chǎng)第一。

他們創(chuàng)造了全球首個(gè)、迄今為止規(guī)模最大的實(shí)時(shí)音視頻網(wǎng)絡(luò)——軟件定義實(shí)時(shí)網(wǎng)SD-RTN?。

它具備了毫秒級(jí)響應(yīng)、超低延遲，和極致抗弱網(wǎng)的能力，能夠確保高質(zhì)量的實(shí)時(shí)交互體驗(yàn)。

不僅如此，憑借深厚技術(shù)積累和全球化服務(wù)能力，聲網(wǎng)還贏得了國(guó)內(nèi)外頭部大模型廠商的高度認(rèn)可。

在海外，其兄弟公司Agora已成為OpenAI官方合作伙伴，共同推動(dòng)在實(shí)時(shí)API的落地應(yīng)用。

在國(guó)內(nèi)，MiniMax、通義千問(wèn)等頂尖大模型公司也與聲網(wǎng)建立了緊密合作關(guān)系。

這些合作不僅彰顯了聲網(wǎng)在實(shí)時(shí)語(yǔ)音技術(shù)上領(lǐng)先地位，也進(jìn)一步鞏固了其在全球市場(chǎng)的領(lǐng)導(dǎo)地位。

成立十年來(lái)，幾乎每一個(gè)行業(yè)風(fēng)口都有其身影。有人說(shuō)，它是科技淘金時(shí)代的「賣(mài)水者」。

從陌陌、斗魚(yú)、虎牙到Bilibli，這些直播行業(yè)的巨頭都曾選擇聲網(wǎng)作為技術(shù)合作伙伴。它提供的技術(shù)不僅保障直播流暢性和穩(wěn)定性，更在用戶體驗(yàn)上梳理了行業(yè)標(biāo)桿。

在新東方、好未來(lái)、VIPKID等教育巨頭背后，聲網(wǎng)也提供了強(qiáng)大得技術(shù)支持。

無(wú)論是大規(guī)模在線課堂，還是一對(duì)一個(gè)性化教學(xué)，它都能確保師生之間實(shí)時(shí)互動(dòng)，提升教學(xué)效果。

此外，在全球化布局方面，聲網(wǎng)也取得了重要的成果，全球超60%泛娛樂(lè)APP都是其客戶。這些基礎(chǔ)也為聲網(wǎng)積累了豐富的客戶服務(wù)經(jīng)驗(yàn)。

眼光放長(zhǎng)遠(yuǎn)來(lái)看，聲網(wǎng)的創(chuàng)新將為整個(gè)行業(yè)帶去更深遠(yuǎn)的影響和價(jià)值。

通過(guò)提供標(biāo)準(zhǔn)化的交互能力，它能解決中小廠商被頭部玩家「功能碾壓」的焦慮。

即便是資源有限的創(chuàng)業(yè)團(tuán)隊(duì)，也能通過(guò)接入專業(yè)交互層，提供與科技巨頭相媲美的用戶體驗(yàn)。

不僅如此，由于降低多模態(tài)交互技術(shù)門(mén)檻，更多開(kāi)發(fā)者能夠?qū)Ｗ⒂趫?chǎng)景創(chuàng)新、業(yè)務(wù)模式探索，而不必陷入底層交互技術(shù)的泥潭。

此外，AI在多場(chǎng)景落地也會(huì)得到加速。AI智能助手、情感陪伴、AI口語(yǔ)陪練等應(yīng)用場(chǎng)景，因獲得高質(zhì)量交互能力的支持，可以更快速地規(guī)模化部署。

這種價(jià)值創(chuàng)造，正是AI普惠化的關(guān)鍵所在。

隨著交互基建的鋪開(kāi)，我們將看到更多AI應(yīng)用從實(shí)驗(yàn)室走向生活，從冰冷的文本界面，演進(jìn)為溫暖自然的對(duì)話伙伴。

在AI競(jìng)爭(zhēng)下半場(chǎng)，語(yǔ)音交互也將成為一決勝負(fù)的關(guān)鍵砝碼。