一、多模態訓練的諸多難點

多模態模型在處理不同模態數據時（如文本、圖像、音頻和視頻）需要面臨許多挑戰：

• 模態間的表示差異：

不同模態的數據在特征表示上存在顯著差異。

例如，圖像數據通常是像素級的二維信息，而文本數據是離散的符號序列，音頻數據則是連續的時間序列。

這種差異使得在單一模型中融合多種模態變得困難。

• 訓練過程中的收斂速度不一致：

      不同模態的數據量和復雜度不同，導致模型在訓練過程中，各模態的收斂速度不一致。

      例如，圖像數據可能需要更多的計算資源和時間來訓練，而文本數據可能相對較快收斂。

      這種不一致性會影響模型的整體性能和穩定性。

• 生成任務中的語義一致性：

      在多模態生成任務中，如何保持生成內容的語義一致性是一個關鍵問題。

      例如，當模型根據文本描述生成圖像時，需要確保生成的圖像與文本描述在語義上高度匹配，同時還要避免生成與輸入模態無關的內容。

二、Ming-Omni

2.1 解決的問題

• 構建一個能夠統一處理多種模態（圖像、文本、音頻和視頻）的模型架構，實現高效的多模態融合。
• 提高模型在多模態生成任務中的語義一致性和生成質量，支持高質量的圖像生成、音頻生成以及多模態交互。
• 優化模型的訓練策略，解決模態間收斂速度不一致的問題，提高模型的整體性能和穩定性。

2.2 Ming-Omni 模型架構

Ming-Omni 模型的核心架構基于一種混合專家（MoE）架構的語言模型 Ling，結合了針對不同模態的專用編碼器和解碼器。

具體來說，模型包括以下幾個關鍵組件：

• 專用編碼器：

Ming-Omni 使用不同的編碼器分別處理不同模態的數據。

例如，圖像編碼器采用 Qwen2.5 視覺骨干網絡，能夠處理任意分辨率的圖像和視頻；

音頻編碼器則使用 Whisper，具有強大的語音識別和音頻理解能力。

這些編碼器將不同模態的數據轉換為統一的嵌入表示，然后投影到與語言模型維度一致的空間中。

• 混合專家（MoE）架構：

      Ling 作為模型的核心語言模型，采用了 MoE 架構。

      這種架構通過引入多個專家網絡，能夠根據不同模態的輸入動態選擇最合適的專家進行處理。

      每個專家網絡可以專注于處理特定模態的數據，從而提高模型對不同模態的理解能力。

      此外，Ming-Omni 還設計了針對不同模態的路由機制，能夠將不同模態的令牌（tokens）路由到相應的專家網絡，進一步優化了模態間的融合效果。

• 音頻解碼器和圖像生成模塊：

      為了支持音頻和圖像的生成任務，引入了音頻解碼器和基于擴散模型的圖像生成模塊。

      音頻解碼器采用自回歸架構，能夠根據語言模型的輸出生成離散的音頻令牌，從而實現高質量的語音合成。

      圖像生成模塊則通過多尺度可學習令牌和多尺度表示對齊技術，將語言模型的語義理解能力與圖像生成過程相結合，實現了高質量的圖像生成和編輯功能。

2.3 Ming-Omni分階段預訓練

模型的訓練分為：感知訓練和生成訓練兩個階段。

• 在感知訓練階段，重點訓練語言模型 Ling 對不同模態數據的理解能力，通過逐步增加任務的復雜度，使模型能夠更好地融合多種模態的信息。
• 在生成訓練階段，重點訓練音頻解碼器和圖像生成模塊，以提高模型的生成能力。
• 這種分階段訓練策略能夠有效解決模態間收斂速度不一致的問題，提高模型的整體性能。

感知訓練階段

• 預訓練：

      在預訓練階段，模型首先使用大量的多模態數據對語言模型 Ling 進行訓練。

      這些數據包括圖像 - 文本對、音頻 - 文本對等，模型通過學習這些數據對之間的關聯，逐漸建立起對不同模態數據的理解能力。

      具體來說，模型的目標是最小化預測下一個模態數據的概率損失。

      例如，在圖像 - 文本對中，模型需要根據圖像內容預測相應的文本描述，或者根據文本描述預測圖像內容。

• 指令微調：

      設計了一系列指令，如“根據圖像內容生成文本描述”、“根據語音指令編輯圖像”等。

      模型通過學習這些指令，能夠更好地理解用戶的意圖，并在實際應用中完成相應的任務。

      在微調過程中，模型的損失函數不僅包括預訓練階段的概率損失，還包括任務相關的損失，如文本生成的 BLEU 評分損失、圖像編輯的像素級損失等。

      在指令微調階段，模型進一步學習處理具體的多模態任務。

• 對齊微調：

      對齊微調階段的目的是進一步優化模型在不同模態之間的對齊效果。

      模型通過學習多模態數據之間的語義對齊關系，提高生成內容的語義一致性。

      例如，模型可以通過學習圖像和文本之間的語義對齊關系，確保生成的文本描述與圖像內容高度匹配。

生成訓練階段

• 音頻生成訓練：

在音頻生成訓練階段，模型重點訓練音頻解碼器的能力。

使用大量的文本 - 音頻對數據對音頻解碼器進行訓練，目標是最小化預測音頻的梅爾頻譜損失。

同時，為了提高生成語音的自然度，模型還引入了語音質量評估指標（如 MOS 評分）作為輔助損失函數。

在訓練過程中，模型通過學習文本和音頻之間的映射關系，逐漸提高音頻生成的質量。

• 圖像生成訓練：

      圖像生成訓練階段主要針對圖像生成模塊進行優化。

      模型使用多尺度可學習token和多尺度表示對齊技術，將語言模型的語義理解能力與圖像生成過程相結合。

      具體來說，模型通過學習不同尺度的圖像特征，生成與輸入文本描述高度匹配的圖像。

      在訓練過程中，模型的目標是最小化生成圖像與目標圖像之間的像素級損失，同時保持生成圖像的語義一致性。

三、Ming-Omni應用

1.圖像生成：給定一段文本描述，Ming-Omni 能夠生成與描述內容高度匹配的圖像。

2.音頻生成：根據文本輸入，Ming-Omni 能夠生成自然流暢的語音。

3.多模態交互：Ming-Omni 還能夠處理復雜的多模態交互任務。

??https://github.com/inclusionAI/Ming/tree/main??

??https://arxiv.org/pdf/2506.09344??

本文轉載自??CourseAI??，作者：CourseAI