01、概述

隨著人工智能的發展，構建能夠實時感知環境、進行復雜推理并記憶的系統，已成為研究者們追求的目標。這不僅要求 AI 系統能處理音頻、視頻和文本等多模態數據，還需在動態環境中模擬人類感知、推理與記憶的協同能力。然而，現有多模態大語言模型（MLLMs）在這方面仍存在諸多限制，尤其是在同時處理任務時的效率和可擴展性。

為解決這些問題，來自上海人工智能實驗室、中國香港中文大學、復旦大學、中國科技大學、清華大學、北京航空航天大學和商湯集團的研究團隊推出了一款創新框架——InternLM-XComposer2.5-OmniLive (IXC2.5-OL)。通過模塊化設計，該系統將感知、記憶與推理功能解耦，實現了高效的實時多模態交互，為模擬人類認知提供了全新范式。

02、現有系統的局限性

1）感知與推理的割裂

大部分主流模型采用序列到序列的架構，這種設計導致系統在處理多模態數據時，需要在感知和推理間頻繁切換。例如，模型在分析視頻流時可能會停頓以處理文本任務，類似于“人在觀察時無法思考”的狀態。

2）數據存儲的低效

當前模型依賴擴展上下文窗口存儲歷史數據，但多模態數據（如視頻流和音頻流）會在短時間內生成海量信息，這種方法難以支撐長時間的數據積累。例如，一個小時的視頻可能轉化為數百萬個標記，這對存儲和檢索都是巨大的挑戰。

3）模型架構的單一性

現有方法如 Mini-Omni 和 VideoLLM-Online，雖然嘗試填補文本與視頻理解之間的鴻溝，但因過度依賴順序處理和有限的記憶整合能力，難以達到人類級別的認知效果。

03、InternLM-XComposer2.5-OmniLive 的創新設計

IXC2.5-OL 通過模塊化架構模擬人腦，將感知、記憶和推理分解為三個獨立但協同工作的模塊：

• 流式感知模塊（Streaming Perception Module）
• 多模態長時記憶模塊（Multimodal Long Memory Module）
• 推理模塊（Reasoning Module）

1）流式感知模塊：實時數據捕獲與編碼

該模塊處理實時音頻和視頻流，使用先進模型如 Whisper（音頻編碼）和 OpenAI CLIP-L/14（視頻感知）提取高維特征。

• 任務：捕獲并編碼關鍵信息，如語音內容、環境音等，直接存入記憶模塊。
• 應用：音視頻會議的實時字幕生成、智能監控中異常事件識別。

2）多模態長時記憶模塊：高效存儲與檢索

此模塊的核心功能是將短期記憶壓縮為高效的長期表示。

• 方法：通過算法優化，能夠將數百萬幀視頻濃縮成緊湊的記憶單元，有效減少存儲成本并提升檢索準確性。
• 優勢：大幅降低計算資源的占用，為實時交互提供支持。

3）推理模塊：信息檢索與復雜任務執行

推理模塊通過檢索記憶模塊中的相關信息，快速完成復雜任務，如回答用戶問題或執行指令。

• ?特點：實現感知、推理與記憶的同步協作，避免傳統系統中各模塊割裂運行的效率低下問題。
• 應用：智能問答系統、實時決策支持。?

04、性能測試與研究成果

1）卓越的基準測試成績

IXC2.5-OL 在多項國際權威測試中表現出色：

• 音頻處理

     a. 在 Wenetspeech 中文測試集上，語音識別的詞錯誤率（WER）為 7.8%，遠超 VITA 和 Mini-Omni。

     b. 在 LibriSpeech 英文基準上，“清晰”環境下的 WER 為 2.5%，而在噪聲環境中也達到了 9.2% 的優秀成績。

• 視頻處理
• 在 MLVU 和 StreamingBench 的視頻推理與異常識別測試中，分別取得了 66.2% 和 73.79% 的評分，創下行業新高。

2）高效的多模態處理能力

流式感知模塊通過壓縮和記憶機制，實現了對多模態數據的實時處理。

系統能夠同時處理數百萬標記，檢索速度快且數據損失率低，適合需要長期交互的動態環境。

3）開放性與易用性

研究團隊已將全部代碼、模型及推理框架公開，開發者可以快速集成并根據實際需求進行優化。

05、實際應用場景

1）智能監控與異常檢測

IXC2.5-OL 的實時視頻處理能力，適用于智能監控系統中異常事件的自動識別，如公共場所的行為異常分析。

2）智能會議助手

通過實時感知音頻與視頻流，該框架可為企業提供智能會議助手服務，包括實時記錄、摘要生成以及任務提醒。

3）教育與學習

在在線教育中，IXC2.5-OL 可作為虛擬導師，實時分析學習者的行為反饋并調整教學策略，同時記錄學習數據以優化課程內容。

4）醫療輔助診斷

長時記憶模塊能夠存儲并快速檢索患者的歷史病歷數據，結合實時感知與推理功能，輔助醫生做出準確診斷。

06、結語

IXC2.5-OL 的模塊化設計從本質上解決了傳統系統的諸多局限：

• 感知、記憶與推理的分工協作：模擬人腦的處理方式，確保了系統的高效性與可擴展性。
• 實時多模態交互：實現了音頻、視頻和文本的同步處理，為動態環境中的復雜應用提供了解決方案。
• 高效存儲與檢索：通過記憶壓縮機制，將長期多模態交互的計算與存儲成本降至最低。

隨著 AI 技術的進一步發展，IXC2.5-OL 不僅將繼續推動人機交互的革新，還為構建更接近人類認知的 AI 系統提供了重要參考。

參考：

1. ??https://github.com/InternLM/InternLM-XComposer/tree/main/InternLM-XComposer-2.5-OmniLive??
2. ??https://huggingface.co/internlm/internlm-xcomposer2d5-ol-7b??
3. ??https://github.com/InternLM/InternLM-XComposer/blob/main/InternLM-XComposer-2.5-OmniLive/IXC2.5-OL.pdf??

本文轉載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/XCa3DYgK27eR7pbUm4ju0g??