AI音頻核爆!Kimi開源「六邊形戰神」Kimi-Audio,音頻界ChatGPT來了?
剛剛,kimi 發布全新通用音頻基礎模型 Kimi-Audio,這款由月之暗面(Moonshot AI)推出的開源模型,在 24 小時內收獲 3.2 萬星標,不僅以 1.28% 詞錯率刷新語音識別紀錄,更在情感分析、聲音事件分類等十項任務中碾壓其他競品,堪稱“六邊形戰士”——沒有短板,只有王炸。
傳統音頻模型往往專精單一任務:語音識別、情感分析、降噪……開發者需像拼樂高般組合多個工具。而 Kimi-Audio 的顛覆性在于,它用三層架構統一了音頻處理各項任務:
音頻分詞器: 將聲音轉化為離散語義token,保留聲學細節;音頻大模型:基于Transformer處理多模態輸入,生成文本與音頻token;音頻去分詞器:通過流匹配技術,將token轉化為自然聲波。
這種設計讓模型能同時處理語音識別、情感分析、環境聲分類等任務,完成了從音頻輸入到文本輸出的全過程,這已經超越了工具范疇,更像是擁有聽覺思維的智能體。
除了新穎的模型架構外,Kimi-Audio 在數據建構和訓練方法上也下足了功夫。
在實際應用中的表現方面,研究者們基于評估工具包對 Kimi-Audio 在一系列音頻處理任務中的表現進行了詳細評估,包括自動語音識別(ASR)、音頻理解、音頻轉文本聊天和語音對話等。Kimi-Audio 的表現顯著超越了其他同類模型。
目前,Kimi-Audio的模型代碼、模型檢查點以及評估工具包已經在 Github 上開源。
Kimi-Audio 的發布,恰逢 AI 多模態革命的臨界點。當 GPT-4o、Gemini 3.0 聚焦“視覺+文本”時,Kimi選擇押注被低估的聽覺賽道,為音頻技術領域帶來了新的突破和創新。
贊
收藏
回復
分享
微博
QQ
微信
舉報

回復
相關推薦