只給一張圖，AI找到對(duì)應(yīng)合適BGM，央音清華等構(gòu)建全球化音樂(lè)信息檢索新范式

作者：量子位 2025-02-25 13:51:16

來(lái)自中央音樂(lè)學(xué)院、清華大學(xué)、香港科技大學(xué)大學(xué)、上海紐約大學(xué)等機(jī)構(gòu)的研究者推出CLaMP 3（Contrastive Language-Music Pre-training）——一個(gè)跨模態(tài)、跨語(yǔ)言的統(tǒng)一音樂(lè)信息檢索框架。

給AI看一眼圖，它就能找到對(duì)應(yīng)音樂(lè)。

比如一艘海上航行的海盜船，啪一下，就檢索到了加勒比海盜經(jīng)典配樂(lè)。

音樂(lè)信息檢索（Music Information Retrieval, MIR）一直面臨著多模態(tài)數(shù)據(jù)的復(fù)雜性和多語(yǔ)言文本理解的挑戰(zhàn)。

當(dāng)前的MIR系統(tǒng)主要關(guān)注特定模態(tài)對(duì)（如文本-音頻或文本-樂(lè)譜），限制了跨模態(tài)理解的潛力。

同時(shí)，現(xiàn)有的數(shù)據(jù)集主要以英語(yǔ)為主，缺乏多語(yǔ)言覆蓋，導(dǎo)致MIR在非英語(yǔ)環(huán)境下的泛化能力受限。

為此，來(lái)自中央音樂(lè)學(xué)院、清華大學(xué)、香港科技大學(xué)大學(xué)、上海紐約大學(xué)等機(jī)構(gòu)的研究者推出CLaMP 3（Contrastive Language-Music Pre-training）——一個(gè)跨模態(tài)、跨語(yǔ)言的統(tǒng)一音樂(lè)信息檢索框架。

通過(guò)對(duì)比學(xué)習(xí)，CLaMP 3首次實(shí)現(xiàn)了樂(lè)譜、演奏信號(hào)、音頻錄音等音樂(lè)模態(tài)與多語(yǔ)言文本的聯(lián)合對(duì)齊，使得不同模態(tài)之間可以通過(guò)文本橋接進(jìn)行高效檢索。其多語(yǔ)言文本編碼器能夠適應(yīng)從未見(jiàn)過(guò)的語(yǔ)言，在跨語(yǔ)言檢索任務(wù)上表現(xiàn)卓越。

CLaMP3基于檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）策略，構(gòu)建了規(guī)模達(dá)到2.31M音樂(lè)-文本對(duì)的M4-RAG數(shù)據(jù)集，并結(jié)合詳細(xì)的音樂(lè)元數(shù)據(jù)，覆蓋27種語(yǔ)言、194個(gè)國(guó)家的音樂(lè)文化。此外，研究團(tuán)隊(duì)還推出了WikiMT-X，一個(gè)由樂(lè)譜、音頻和多樣化文本描述組成的1000個(gè)樣本的基準(zhǔn)數(shù)據(jù)集，推動(dòng)跨模態(tài)音樂(lè)理解的研究。

實(shí)驗(yàn)結(jié)果表明，CLaMP 3在多個(gè)MIR任務(wù)上取得了當(dāng)前最優(yōu)性能，不僅大幅超越已有基線模型，還在跨模態(tài)、跨語(yǔ)言的檢索任務(wù)中展現(xiàn)了卓越的泛化能力。

圖1：CLaMP 3展現(xiàn)出強(qiáng)大的跨模態(tài)和跨語(yǔ)言泛化能力。監(jiān)督對(duì)齊（實(shí)線箭頭）連接成對(duì)的模態(tài)，而涌現(xiàn)對(duì)齊（虛線箭頭）則彌合未對(duì)齊的模態(tài)。多語(yǔ)言文本編碼器使得在對(duì)齊過(guò)程中未見(jiàn)（灰色氣泡）的語(yǔ)言中也能進(jìn)行檢索。

動(dòng)機(jī)：MIR需要真正的跨模態(tài)、跨語(yǔ)言對(duì)齊

音樂(lè)是全球性的，但MIR的發(fā)展仍然面臨以下關(guān)鍵問(wèn)題：

多模態(tài)數(shù)據(jù)對(duì)齊難度高：樂(lè)譜、MIDI（演奏信號(hào)）、音頻各自有獨(dú)特的數(shù)據(jù)表示方式，傳統(tǒng)方法難以統(tǒng)一處理不同模態(tài)。
多語(yǔ)言音樂(lè)信息檢索受限：現(xiàn)有數(shù)據(jù)集以英語(yǔ)為主，缺乏對(duì)其他語(yǔ)言的覆蓋，導(dǎo)致MIR模型難以泛化到全球音樂(lè)語(yǔ)境。
缺乏高質(zhì)量的多模態(tài)-多語(yǔ)言數(shù)據(jù)：音樂(lè)文本數(shù)據(jù)多為簡(jiǎn)短的標(biāo)簽，缺乏詳細(xì)的長(zhǎng)文本描述，限制了MIR系統(tǒng)的理解能力。

為解決上述問(wèn)題，CLaMP 3構(gòu)建了一個(gè)通用的跨模態(tài)-跨語(yǔ)言檢索框架，通過(guò)對(duì)比學(xué)習(xí)構(gòu)建共享表示空間，使得不同模態(tài)的音樂(lè)數(shù)據(jù)可以在無(wú)配對(duì)訓(xùn)練數(shù)據(jù)的情況下進(jìn)行檢索。

方法：對(duì)比學(xué)習(xí)+檢索增強(qiáng)生成，構(gòu)建統(tǒng)一音樂(lè)表示空間

CLaMP 3采用對(duì)比學(xué)習(xí)（Contrastive Learning）作為核心優(yōu)化目標(biāo)，通過(guò)多階段訓(xùn)練策略對(duì)齊不同模態(tài)，并利用檢索增強(qiáng)生成（RAG）擴(kuò)展高質(zhì)量音樂(lè)-文本數(shù)據(jù)。

圖2：CLaMP 3采用對(duì)比學(xué)習(xí)來(lái)對(duì)齊不同模態(tài)的特征。樂(lè)譜和演奏信號(hào)被分割為單元（小節(jié)或MIDI消息），并由符號(hào)音樂(lè)編碼器處理，而音頻則被分割為5秒片段，并通過(guò)音頻特征提取器和音頻音樂(lè)編碼器處理。符號(hào)和音頻表示均與來(lái)自多語(yǔ)言文本編碼器的文本表示對(duì)齊。

訓(xùn)練策略：多階段模態(tài)對(duì)齊

CLaMP 3的訓(xùn)練策略借鑒了ImageBind的思想，采用四階段跨模態(tài)對(duì)齊：

文本與樂(lè)譜對(duì)齊：訓(xùn)練文本編碼器與樂(lè)譜編碼器。
文本與音頻對(duì)齊：凍結(jié)文本編碼器，訓(xùn)練音頻編碼器。
優(yōu)化文本對(duì)齊：解凍文本編碼器，細(xì)調(diào)文本-音頻對(duì)齊。
修正跨模態(tài)漂移：重新對(duì)齊文本-樂(lè)譜，以減少前一階段的對(duì)齊偏差。

這一策略確保了所有模態(tài)最終映射到統(tǒng)一的表示空間，避免模態(tài)漂移問(wèn)題。

核心組件：多模態(tài)Transformer編碼器

CLaMP 3由多個(gè)基于Transformer的編碼器組成，每個(gè)編碼器針對(duì)不同模態(tài)進(jìn)行處理，以確保跨模態(tài)對(duì)齊和信息融合。

多語(yǔ)言文本編碼器

CLaMP 3的文本編碼器基于XLM-R-base，一個(gè)預(yù)訓(xùn)練于2.5TB CommonCrawl數(shù)據(jù)的模型，涵蓋100種語(yǔ)言。該編碼器具有12層Transformer，隱藏維度為768，具備強(qiáng)大的跨語(yǔ)言泛化能力，可用于處理未見(jiàn)語(yǔ)言的數(shù)據(jù)。

符號(hào)音樂(lè)編碼器

CLaMP 3采用M3作為符號(hào)音樂(lè)編碼器，它是一種自監(jiān)督學(xué)習(xí)模型，可處理多軌ABC記譜格式和MIDI。

輸入格式：ABC以小節(jié)（bar）為單位分割，MIDI以消息（message）為單位分割。
模型結(jié)構(gòu)：12層Transformer，隱藏層大小768。
處理能力：支持512個(gè)片段（patches）或32,768個(gè)字符，可捕捉復(fù)雜的符號(hào)音樂(lè)模式。

音頻音樂(lè)編碼器

CLaMP 3的音頻編碼器是一個(gè)12層Transformer，隱藏維度同樣為768，專(zhuān)為音樂(lè)音頻處理而訓(xùn)練。

特征提取：利用MERT-v1-95M預(yù)訓(xùn)練特征，MERT作為凍結(jié)的音頻特征提取器。
輸入單位：將音頻分割為5秒片段，并計(jì)算所有MERT層的時(shí)間步均值，生成單個(gè)嵌入向量。
處理能力：最多支持128個(gè)嵌入向量（對(duì)應(yīng)640秒音頻），能夠建模長(zhǎng)時(shí)音樂(lè)特征。

統(tǒng)一表示空間

所有編碼器的輸出都經(jīng)過(guò)線性層和平均池化（average pooling）處理，最終生成全局語(yǔ)義特征，確保不同模態(tài)數(shù)據(jù)在共享表示空間中對(duì)齊。

數(shù)據(jù)集：M4-RAG

CLaMP 3的訓(xùn)練依賴于大規(guī)模的高質(zhì)量多模態(tài)多語(yǔ)言音樂(lè)數(shù)據(jù)集M4-RAG。

數(shù)據(jù)來(lái)源

CLaMP 3結(jié)合符號(hào)音樂(lè)數(shù)據(jù)和音頻音樂(lè)數(shù)據(jù)以構(gòu)建多模態(tài)學(xué)習(xí)基礎(chǔ)：

符號(hào)音樂(lè)數(shù)據(jù)：

WebMusicText（WebMT）：1.4M ABC記譜文件。
Million MIDI Dataset（MMD）：1.5M MIDI文件。
數(shù)據(jù)轉(zhuǎn)換：MMD轉(zhuǎn)換為ABC，WebMT轉(zhuǎn)換為MIDI，最終形成3M統(tǒng)一格式的符號(hào)音樂(lè)數(shù)據(jù)。

音頻音樂(lè)數(shù)據(jù)：

從網(wǎng)絡(luò)收集1.8M音軌，總計(jì)16萬(wàn)小時(shí)音頻，并預(yù)提取音頻特征以減少計(jì)算成本。

元數(shù)據(jù)處理

CLaMP 3依賴音樂(lè)標(biāo)題（Title）作為主要檢索信號(hào)，通過(guò)檢索增強(qiáng)生成（RAG）從Web獲取豐富的元數(shù)據(jù)，包括風(fēng)格、標(biāo)簽、背景信息等，最終借助Qwen2.5-72B構(gòu)建M4-RAG：

數(shù)據(jù)量：2.31M元數(shù)據(jù)條目。
音樂(lè)-文本對(duì)齊：

ABC-文本：0.58M
MIDI-文本：0.17M
音頻-文本：1.56M

元數(shù)據(jù)涵蓋短文本（如流派、標(biāo)簽）和長(zhǎng)文本（如背景介紹、音樂(lè)分析），提供全面的音樂(lè)描述信息。

表1：M4-RAG的元數(shù)據(jù)概覽，按基本信息、注釋和翻譯進(jìn)行分類(lèi)。在注釋?zhuān)ˋnnotations）部分，地區(qū)（Region）和語(yǔ)言（Language）以英語(yǔ)書(shū)寫(xiě)，其他字段遵循對(duì)應(yīng)的語(yǔ)言規(guī)范。

語(yǔ)言&地理覆蓋

M4-RAG涵蓋27種語(yǔ)言，其中大部分元數(shù)據(jù)原始語(yǔ)言為英語(yǔ)。

翻譯增強(qiáng)：使用Qwen2.5-72B進(jìn)行翻譯，增加低資源語(yǔ)言的數(shù)據(jù)量（如馬來(lái)語(yǔ)、緬甸語(yǔ)）。

全球覆蓋：數(shù)據(jù)來(lái)源于194個(gè)國(guó)家，涵蓋主流音樂(lè)市場(chǎng)及多樣化的地域音樂(lè)風(fēng)格。

圖3：M4-RAG中原始數(shù)據(jù)和翻譯數(shù)據(jù)的語(yǔ)言分布，覆蓋27種語(yǔ)言。

圖4：M4-RAG中音樂(lè)曲目的國(guó)家分布，涵蓋194個(gè)國(guó)家。

實(shí)驗(yàn)：CLaMP 3在跨模態(tài)、跨語(yǔ)言檢索上超越現(xiàn)有SOTA

CLaMP 3在多個(gè)MIR任務(wù)上取得了當(dāng)前最優(yōu)（SOTA）性能，相比前代CLaMP 2和其他基線模型，如CLAP、TTMR++，有顯著提升。

跨模態(tài)音樂(lè)檢索

在文本-音頻、文本-樂(lè)譜等任務(wù)上，CLaMP 3在WikiMT-X、MidiCaps、MusicCaps-Remake等基準(zhǔn)數(shù)據(jù)集上的MRR（Mean Reciprocal Rank）均超越基線：

文本-ABC檢索：MRR 0.4498（提升>10%）
文本-音頻檢索：MRR 0.1985（超越CLAP與TTMR++）

表2：英文文本到音樂(lè)檢索任務(wù)的結(jié)果，涵蓋多個(gè)基準(zhǔn)數(shù)據(jù)集。WikiMT和MidiCaps各包含1,010對(duì)樣本，Song Describer Dataset(SDD)包含706個(gè)音頻和1,106條文本描述，MusicCaps-Remake(MC-R)包含2,777對(duì)樣本。MC-R通過(guò)使用完整音頻和來(lái)自AudioSet評(píng)估集的重寫(xiě)文本描述，避免了數(shù)據(jù)泄漏。

跨語(yǔ)言音樂(lè)檢索

在非英語(yǔ)文本到音樂(lè)的檢索任務(wù)中，CLaMP 3展現(xiàn)了極強(qiáng)的跨語(yǔ)言泛化能力，即使在訓(xùn)練集中未見(jiàn)過(guò)的語(yǔ)言上，依然能取得優(yōu)異表現(xiàn)。例如：

俄語(yǔ)-樂(lè)譜檢索：MRR 0.3614
中文-音頻檢索：MRR 0.1459
芬蘭語(yǔ)（未見(jiàn)語(yǔ)言）-音頻檢索：MRR 0.1770

表3：多語(yǔ)言文本到音樂(lè)檢索任務(wù)的結(jié)果，基于WikiMT-X翻譯后的背景注釋。標(biāo)有星號(hào)（*）的語(yǔ)言未包含在M4-RAG訓(xùn)練數(shù)據(jù)中。每種語(yǔ)言下方的BLEU分?jǐn)?shù)通過(guò)SeamlessM4T模型對(duì)文本進(jìn)行回譯，并與原始英語(yǔ)文本進(jìn)行對(duì)比計(jì)算。