國產多模態大模型，也開始卷上下文長度。

書生·浦語靈筆（InternLM-XComposer）多模態大模型升級2.5版本——

原生支持24K多模態圖文上下文，超過20輪的圖文交互，具備圖像視頻理解、網頁創作、圖文寫作等多項功能。

該開源模型一出，一度在Hugging Face登上熱榜第五。

圖片

作為8B量級性能最優秀的多模態大模型之一，它在多項評測性能上對標GPT4V和Gemini Pro。

圖片

而除了支持長上下文輸入，InternLM-XComposer 2.5版本（以下簡稱IXC 2.5）同時訓練了長序列輸出能力，模型支持高質量網頁創作和文章生成。

兼容三種多模態理解能力

IXC 2.5同時兼顧了多模態模型的理解和內容輸出能力，主要包括三種多模態理解能力。

包括超過4K分辨率的圖像理解、多輪多圖超長對話、精細視頻內容分析。

來具體看看大模型實力如何。

高分辨率圖像理解，它支持分析文檔、網頁、圖表等信息豐富的超高清圖像。

比如扔給它之前的文章，圖像分辨率為1312x22619像素，并詢問IXC 2.5關于截圖內容的問題。

圖片

嗯，還能知道是量子位公眾號。

就是詢問一些圖中的論文細節，它也能正確回答。

多輪多圖超長對話，支持自由形式的多輪多圖對話，進行超過20輪圖文交互，提供自然的多模態交互體驗。

為了實現這一能力，研究團隊構造了第一個多模態長上下文指令數據集MMDU。該數據集包括了平均15輪圖文對話，最大20張圖像，最多對話輪次可以到27次，數據集現已開源。

圖片

精細視頻內容分析，在多項視頻大模型評測中表現出色。

圖片

研究團隊構造了ShareGPT4Video圖像描述數據集，包括了3000個小時的精細視頻描述標注。視頻數據來源多樣，包括Panda，EGO-4D，Pexels，Pixabay等，涵蓋豐富的場景，數據集已經開源。

圖片

除此之外，內容輸出的能力也得到了升級。

網頁創作。IXC 2.5擴展了網頁代碼的編寫能力，可以根據圖文指令輸入，編寫對應的網頁前端和交互代碼（HTML，CSS，JavaScript）。

在該能力的支持下，IXC 2.5實現了三個實用的功能，包括：

（1）網頁截圖轉代碼：輸入網頁截圖，輸出對應截圖的前端代碼
（2）語言指令做網頁：輸入網頁制作要求，創作網頁代碼并渲染
（3）個人簡歷做網頁：輸入個人簡歷PDF，制作對應個人簡歷的主頁

圖片

圖文寫作。本次IXC 2.5構造了2000篇涵蓋各種文體，包括：高考作文、散文、小說等不同文風文章的文筆質量打分數據，并使用這些數據訓練的一個reward model。

使用該reward model進一步構造了30000篇文章質量偏好數據，用于直接偏好學習（DPO）訓練，大幅提升了文章創作的文筆和穩定性。IXC 2.5不僅支持高質量寫作，還可以給出文章寫作評價。

以2024高考新課標Ⅱ卷為例，IXC 2.5不僅可以寫出文筆優秀的高考作文，對于作文的點評也顯得非常專業。

圖片

圖像與視頻理解的統一架構

今年4月，IXC團隊提出了4K分辨率圖像多模態大模型方案IXC2-4KHD，可以處理任意長寬比的高分辨率圖像。

IXC 2.5基于4KHD框架進行擴展，實現了一套可以統一處理高分辨率圖像和視頻的多模態模型架構。

視頻幀拼圖。

對于視頻數據，IXC 2.5會均勻采樣視頻幀，并將視頻幀拼成一個超長的高分辨率圖片。每一幀圖像上用文字標記視頻的時序信息。

全局特征（Global View）。

將整張高分辨率圖像整體resize到560x560大小，用ViT抽取全局特征。

局部特征（Local View）。

將高分辨率圖像切塊，每塊560x560分辨率，分別抽取局部特征

特征拼接：將Global View和Local View的特征拼成一個序列，用’\n’ token標記圖像長寬比布局，用’sp’ token分隔全局特征和局部特征。

圖片

為了兼顧模型對于視覺內容的理解和語言創作能力，IXC2.5采用了一種 PLoRA（局部LoRA）的模型架構，即對于視覺Token單獨增加一組LoRA參數進行編碼，通過這種方式讓新增的LoRA參數只影響視覺Token，一方面可以幫助模型更好的理解視覺信息，同時減少對模型語言能力的影響。

圖片

IXC社區提供完善的量化、部署、微調代碼支持，提供在線demo和在線demo的本地運行代碼，包括：

• 量化和部署（LMDepoly支持）：IXC 2.5由LMDeploy項目支持模型部署和量化，只需要不到24GB顯存就可以運行，同時支持多卡推理降低單卡顯存要求。

圖片

• 微調（原生支持&Modelscope Swift）：IXC 2.5支持使用研究團隊開源的微調代碼，以及Modelscope Swift項目支持的微調代碼兩種實現，使用LoRA微調最少只需要32GB顯存。
• Demo代碼：IXC 2.5的demo代碼使用Whisper和MeloTTS支持了語音輸入輸出，支持本地部署，代碼現已開源。

項目地址：
https://github.com/InternLM/InternLM-XComposer論文地址：
https://arxiv.org/pdf/2407.03320