Hi，這里是Aitrainee，歡迎閱讀本期新文章。

阿里 Qwen 家族添新丁：Qwen2.5-Omni，一個真正的“Omni”全能模型。

這款新模型號稱能看、能聽、能說、能寫，還能實時響應(yīng)。文本、圖片、音頻、視頻，一個模型全搞定。

自家 Qwen Chat 也用上了，還能語音、視頻直接聊，跟真人似的。

體驗地址：???https://chat.qwen.ai/??

社區(qū)也熱贊，雖然也有人說離 GPT 還差點，但這波開源全能操作確實很頂。

更重要的是，團隊把 Qwen2.5-Omni-7B 開源了，用的 Apache 2.0 協(xié)議。

技術(shù)報告也一起發(fā)了，里面細節(jié)都有。

現(xiàn)在開發(fā)者和企業(yè)可以免費下載商用，手機這種端側(cè)智能硬件也能輕松部

署運行。

想深入了解的，各種傳送門都準(zhǔn)備好了：

• 論文地址：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf
• 博客地址：https://qwenlm.github.io/blog/qwen2.5-omni/
• GitHub 地址：https://github.com/QwenLM/Qwen2.5-Omni
• Hugging Face 地址：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
• ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B

Github里面的部署教程很詳細，很容易上手。

官方放了不少 Qwen2.5-Omni 在真實場景里的 demo，挺有意思。

它現(xiàn)在有四個聲音可選：說話帶停頓語氣，聽著挺自然。

能干啥呢？

廚房幫手：你拿著食材問它咋做，或者讓它看看廚房有啥調(diào)料推薦用法，它能實時分析給建議。對廚房小白挺友好。

音樂點評：放段音樂給它聽，它能判斷風(fēng)格、調(diào)性，還能對原創(chuàng)歌曲的詞、節(jié)奏給點意見。

繪畫參謀：看到草圖，它能理解畫的啥，還能給構(gòu)圖提建議。

戶外觀察/學(xué)習(xí)輔助：還能判斷天氣、輔助解題、讀論文。多模態(tài)能力確實通用。

性能跑分這塊，Qwen2.5-Omni 表現(xiàn)咋樣？

在需要同時處理多種信息的任務(wù)上 (比如 OmniBench)。Qwen2.5-Omni 直接登頂 SOTA，拿了 56.13%，把第二名 Gemini 1.5 Pro 的 42.91% 甩開不少。

單項能力也沒落下，看官方列出來的：語音識別、翻譯、音頻理解、圖像推理、視頻理解、語音合成…… 都很擅長。

柱狀圖擺在那兒，對比看得很清楚，藍色條（Qwen2.5-Omni）在大部分項目上都頂在前面：

那它是怎么做到這么“全能”的？

Qwen2.5-Omni 用了一套自研的“Thinker-Talker”雙核架構(gòu)。可以把它想象成大腦和嘴巴協(xié)同工作。

“Thinker” 模塊，就像是大腦。

它負責(zé)接收和處理各種輸入，比如文字、聲音、圖像、視頻。它的任務(wù)是理解這些信息的深層含義，并生成相應(yīng)的文本內(nèi)容。技術(shù)上，它基于 Transformer 解碼器，并融合了專門的音頻和圖像編碼器來提取特征。它會共享整個對話的上下文信息，形成一個統(tǒng)一的模型結(jié)構(gòu)。

“Talker” 模塊，則像是嘴巴。

它從 “Thinker” 那里實時接收理解好的語義信息和文本，然后流暢地合成語音輸出。它用的是一種雙軌 Transformer 解碼器設(shè)計，能直接利用 “Thinker” 輸出的高維信息，讓語音合成更自然。

網(wǎng)友們催更移動版上線。

估計很多人都想使用實時視頻，畢竟電腦使用不太方便。

也有考慮和硬件結(jié)合，app開發(fā)的。

官方也說了，后面還有更強的版本在路上，輸出圖片、視頻、音樂啥的，可以期待下。

本文轉(zhuǎn)載自??AI進修生??，作者：Aitrainee