隨著語音助手、會議轉寫、實時翻譯等音頻處理應用的普及，市場對輕量級、高性能的音頻模型的需求日益增長。傳統的音頻處理模型往往面臨參數龐大、計算資源消耗高、難以實時處理長音頻等問題。為了解決這些挑戰，LMMs-Lab 團隊推出了一款名為 Aero-1-Audio 的輕量級音頻模型。該模型不僅在參數規模上實現了高效性，還在多個音頻處理任務中表現出色，尤其是在長音頻處理和語音識別方面。

一、項目概述

Aero-1-Audio 是由 LMMs-Lab 開發的一款緊湊型音頻模型，基于 Qwen-2.5-1.5B 語言模型構建，僅包含 1.5 億參數。盡管參數規模較小，但該模型在多個音頻基準測試中表現出色，甚至超越了許多更大規模的模型，如 Whisper 和 Qwen-2-Audio。Aero-1-Audio 能夠處理長達 15 分鐘的連續音頻輸入，無需分割，同時保持上下文連貫性，特別適合長篇語音內容的處理。此外，該模型僅用 16 個 H100 GPU 在一天內完成訓練，使用了約 50 億個 tokens（相當于 5 萬小時音頻）的高質量過濾數據。

二、技術原理

（一）輕量級設計與高效性能

Aero-1-Audio 僅包含 1.5 億參數，規模較小，但在多個音頻基準測試中表現出色，超越了更大規模的模型，如 Whisper 和 Qwen-2-Audio。這種輕量級設計使得模型在資源受限的環境中也能高效運行。例如，在移動設備或嵌入式系統中，Aero-1-Audio 能夠提供快速的語音識別和處理能力，而不會占用過多的內存和計算資源。

（二）高效的訓練方法

Aero-1-Audio 的訓練數據量相對較小，僅使用了約 50 億個 tokens（相當于 5 萬小時音頻），遠少于其他大型模型。通過高質量的過濾數據和優化的訓練策略，模型在一天內即可完成訓練，僅需 16 個 H100 GPU。這種高效的訓練方法使得模型能夠快速適應新的音頻數據和任務需求，降低了開發成本和時間。

（三）動態批處理與序列打包技術

Aero-1-Audio 采用了基于 token 長度的動態批處理策略，通過將樣本分組到預定義的 token 長度閾值內，顯著提高了計算資源利用率。此外，通過序列打包技術結合 Liger 內核融合，模型的 FLOP 利用率從 0.03 提升至 0.34，進一步提高了訓練效率。這種技術優化不僅加快了模型的訓練速度，還提高了模型在推理階段的性能，使其能夠更快地處理音頻輸入。

（四）多任務能力

Aero-1-Audio 在語音識別（ASR）任務中表現出色，在音頻分析與理解、語音指令跟隨和音頻場景理解等多個維度上展現了強大的能力。例如，在 AMI、LibriSpeech 和 SPGISpeech 數據集上，詞錯誤率（WER）最低。此外，該模型還支持多語言處理，能夠識別多種語言的語音內容，適用于全球范圍的應用場景。

三、核心功能

（一）長音頻處理

Aero-1-Audio 能夠處理長達 15 分鐘的連續音頻輸入，無需分割，保持上下文連貫性，特別適合長篇語音內容的處理。例如，在會議記錄或講座轉錄中，模型能夠完整地捕捉整個過程的語音內容，生成準確的文本記錄。這種能力對于需要長時間音頻處理的應用場景尤為重要，如播客轉錄、法庭記錄等。

（二）語音識別（ASR）

Aero-1-Audio 在語音識別任務中表現出色，能夠準確地將語音轉換為文字，適用于實時轉寫、會議記錄、講座轉錄等場景。模型在多個語音識別基準測試中取得了優異的成績，證明了其在不同語言和口音下的魯棒性和準確性。例如，在嘈雜環境下的語音識別中，Aero-1-Audio 依然能夠保持較高的識別準確率。

（三）復雜音頻分析

Aero-1-Audio 支持對語音、音效、音樂等多種音頻類型的分析，能夠理解音頻中的語義和情感，適用于音頻內容的分類和分析。例如，在音樂分析中，模型能夠識別音樂的風格、節奏和情感表達；在語音分析中，能夠檢測說話者的情緒狀態和意圖。這種多維度的音頻分析能力為音頻內容的智能化處理提供了強大的支持。

（四）指令驅動任務

Aero-1-Audio 支持指令驅動的音頻處理任務，例如根據指令提取音頻中的特定信息或執行特定操作，適用于智能語音助手等應用。例如，用戶可以通過語音指令讓模型提取音頻中的關鍵信息，如會議中的決策要點或講座中的主要觀點。這種指令驅動的任務能力使得模型在智能語音助手和自動化處理系統中具有廣泛的應用前景。

四、應用場景

（一）語音助手

Aero-1-Audio 可以作為脫網語音控制和對話助手的核心模型，提供快速響應和準確的語音識別。例如，在智能家居系統中，用戶可以通過語音指令控制家電設備，Aero-1-Audio 能夠實時識別用戶的指令并執行相應的操作。這種應用不僅提高了用戶的便利性，還增強了語音助手在復雜環境下的性能。

（二）實時轉寫

在課堂或會議中，Aero-1-Audio 能夠捕捉長時間講解并輸出筆記摘要，幫助用戶實時記錄和整理信息。例如，在國際會議中，模型能夠實時將演講者的語音內容轉寫為文字，并提供多語言的翻譯服務。這種實時轉寫功能對于提高會議效率和信息傳遞的準確性具有重要意義。

（三）會議紀要

Aero-1-Audio 可以實時轉寫會議音頻，智能提取標簽和關鍵詞，幫助用戶快速整理會議紀要。例如，模型能夠識別會議中的主要議題、決策和行動計劃，并生成結構化的會議紀要。這種智能提取和整理功能大大節省了用戶的時間和精力，提高了會議管理的效率。

（四）歸檔理解

Aero-1-Audio 能夠為錄音庫添加內容標簽，支持按語義搜索，提升音頻資源的管理和檢索效率。例如，在廣播電臺或播客平臺中，模型可以為大量的音頻內容生成詳細的標簽和描述，用戶可以通過關鍵詞搜索快速找到所需的音頻資源。這種音頻歸檔和檢索功能對于音頻內容的管理和利用具有重要的價值。

（五）聽力模塊

Aero-1-Audio 賦予智能代理多輪長語音的理解能力，提升其在復雜對話場景中的表現。例如，在客戶服務中心，模型能夠實時理解客戶的語音咨詢，提供準確的回答和解決方案。這種多輪對話理解能力使得智能代理能夠更好地服務于用戶，提高客戶滿意度。

五、快速使用

（一）安裝依賴

在開始之前，確保已安裝Python 和必要的依賴庫。可以通過以下命令安裝：

pip install transformers@git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview
pip install librosa

（二）加載模型

from transformers import AutoProcessor, AutoModelForCausalLM
import torch
import librosa
def load_audio():
  return librosa.load(librosa.ex("libri1"), sr=16000)[0]
processor = AutoProcessor.from_pretrained("lmms-lab/Aero-1-Audio-1.5B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("lmms-lab/Aero-1-Audio-1.5B", device_map="cuda", torch_dtype="auto", attn_implementatinotallow="flash_attention_2", trust_remote_code=True)
model.eval()

（三）生成轉寫

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "audio_url",
                "audio": "placeholder",
            },
            {
                "type": "text",
                "text": "Please transcribe the audio",
            }
        ]
    }
]


audios = [load_audio()]
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, audios=audios, sampling_rate=16000, return_tensors="pt")
inputs = {k: v.to("cuda") for k, v in inputs.items()}


outputs = model.generate(**inputs, eos_token_id=151645, max_new_tokens=4096)
cont = outputs[:, inputs["input_ids"].shape[-1]:]
print(processor.batch_decode(cont, skip_special_tokens=True)[0])

通過上述代碼，用戶可以快速加載模型并生成音頻轉寫。在實際應用中，用戶可以根據具體的音頻任務修改`messages`中的內容，以生成對應的轉寫。

（四）在線體驗

為了方便用戶快速體驗Aero-1-Audio 的功能，LMMs-Lab 提供了在線體驗平臺。用戶可以通過以下鏈接訪問在線體驗環境：

在線體驗地址：??https://huggingface.co/spaces/lmms-lab/Aero-1-Audio-Demo??

在在線體驗平臺上，用戶可以上傳音頻文件并實時查看轉寫結果。平臺還提供了多種語言選項和自定義指令功能，方便用戶探索模型的不同功能和應用場景。

六、結語

Aero-1-Audio 作為一款輕量級但功能強大的音頻模型，在參數效率和性能之間實現了出色的平衡。特別是在長音頻處理方面的突出表現，為未來音頻模型的發展提供了新的思路。LMMs-Lab 團隊的這一工作證明，通過高質量的數據和創新的訓練方法，即使是小參數模型也能在復雜的音頻任務中取得卓越的性能。對于需要高效音頻處理解決方案的研究人員和開發者來說，Aero-1-Audio 是一個值得嘗試的開源模型。

七、項目地址

模型下載：??https://huggingface.co/lmms-lab/Aero-1-Audio??

在線體驗：???https://huggingface.co/spaces/lmms-lab/Aero-1-Audio-Demo??

本文轉載自????小兵的AI視界????，作者：AGI小兵