大語(yǔ)言模型在迅速發(fā)展的同時(shí)，也展現(xiàn)了其在下游任務(wù)中的卓越性能，這主要得益于豐富多樣的大型語(yǔ)料訓(xùn)練庫(kù)，使大語(yǔ)言模型掌握了一定的跨領(lǐng)域、跨任務(wù)的知識(shí)。

近兩年，越來(lái)越多的研究工作利用預(yù)訓(xùn)練的大語(yǔ)言模型來(lái)構(gòu)建時(shí)間序列分析模型。通過(guò)微調(diào)大語(yǔ)言模型，使其能夠理解陌生的時(shí)序數(shù)據(jù)，進(jìn)而激活其在時(shí)序分析任務(wù)中的能力。

近期，來(lái)自東方理工大學(xué)、香港理工大學(xué)和上海交通大學(xué)的研究團(tuán)隊(duì)提出了一種新的模態(tài)對(duì)齊范式 —— 語(yǔ)境對(duì)齊（Context-Alignment）。該方法將時(shí)間序列數(shù)據(jù)對(duì)齊到大語(yǔ)言模型熟悉的語(yǔ)言環(huán)境中，幫助模型更好地理解時(shí)間序列，從而激活其在時(shí)序分析方面的能力。該論文已被 ICLR 2025 會(huì)議接收。

• 論文標(biāo)題：Context-Alignment: Activating and Enhancing LLMs Capabilities in Time Series
• 論文鏈接：https://openreview.net/forum?id=syC2764fPc
• 代碼鏈接：https://github.com/tokaka22/ICLR25-FSCA

以往的微調(diào)方法往往依賴(lài)于一個(gè)詞庫(kù)，通過(guò)各種方式將時(shí)序數(shù)據(jù)的 token 嵌入與詞庫(kù)中的詞匯（例如 rise、fall、periodic、short 等）的 token 嵌入進(jìn)行對(duì)齊，也就是說(shuō)將大語(yǔ)言模型陌生的時(shí)序數(shù)據(jù)嵌入轉(zhuǎn)化為其熟悉的語(yǔ)言嵌入。此前研究希望通過(guò)這種「詞對(duì)齊」的方式幫助大語(yǔ)言模型理解時(shí)序數(shù)據(jù)，進(jìn)而激活其在時(shí)序分析上的能力。

然而，這種依賴(lài)詞庫(kù)的對(duì)齊方式通常需要較大的計(jì)算開(kāi)銷(xiāo)，且是否能有效地幫助大語(yǔ)言模型理解時(shí)序數(shù)據(jù)還有待商榷。

語(yǔ)境對(duì)齊（Context-Alignment）

本文指出，大語(yǔ)言模型在處理語(yǔ)言時(shí)的能力更多源于其對(duì)語(yǔ)言邏輯和結(jié)構(gòu)的深刻理解，而不僅僅是對(duì)詞匯模式的表面對(duì)齊。因此，作者認(rèn)為，即使使用精準(zhǔn)的詞匯來(lái)表達(dá)冗長(zhǎng)的時(shí)間序列數(shù)據(jù)，這種方式也只是大量詞匯嵌入的堆疊，缺乏語(yǔ)言的邏輯和結(jié)構(gòu)，使得大語(yǔ)言模型難以真正理解其中的含義。

本文中，作者基于語(yǔ)言學(xué)中關(guān)于邏輯結(jié)構(gòu)的層次關(guān)系，提出了語(yǔ)境對(duì)齊范式（Context-Alignment）。他們希望將時(shí)間序列數(shù)據(jù)融入自然語(yǔ)言的語(yǔ)境中，使大語(yǔ)言模型能夠?qū)r(shí)序數(shù)據(jù)整體視為一個(gè)語(yǔ)言成分，并通過(guò)上下文自主地理解時(shí)間序列。

雙尺度語(yǔ)境對(duì)齊圖結(jié)構(gòu)

考慮到圖結(jié)構(gòu)往往可以很好地表達(dá)邏輯和結(jié)構(gòu)的關(guān)系，作者在時(shí)序數(shù)據(jù)和自然語(yǔ)言 prompt 的多模態(tài)輸入上構(gòu)建了雙尺度圖結(jié)構(gòu)，以實(shí)現(xiàn)語(yǔ)境對(duì)齊。

具體來(lái)說(shuō)，作者利用雙尺度的圖節(jié)點(diǎn)來(lái)描述語(yǔ)言結(jié)構(gòu)的層次劃分，在保證信息不丟失的前提下，將冗長(zhǎng)的時(shí)序數(shù)據(jù)表達(dá)為一個(gè)整體，這就好像英語(yǔ)中的賓語(yǔ)從句，從句整體充當(dāng)了一個(gè)語(yǔ)言成分，冗長(zhǎng)的時(shí)序數(shù)據(jù)也應(yīng)該被視為輸入中的一個(gè)整體成分。利用有向邊表達(dá)時(shí)序和 prompt 輸入之間的邏輯關(guān)系。從而將時(shí)序數(shù)據(jù)對(duì)齊到大語(yǔ)言模型熟悉的語(yǔ)境中。

雙尺度圖結(jié)構(gòu)包括細(xì)粒度圖結(jié)構(gòu)和粗粒度圖結(jié)構(gòu)，其中：

• 細(xì)粒度圖結(jié)構(gòu)將每個(gè) token 視為一個(gè)節(jié)點(diǎn)，強(qiáng)調(diào) token 之間的相互獨(dú)立性，保留時(shí)序的具體信息。通過(guò)兩個(gè)線(xiàn)性層（如圖 1 中所示的和），將連續(xù)且冗長(zhǎng)的時(shí)序數(shù)據(jù)嵌入和 prompt 嵌入分別映射為兩種粗粒度節(jié)點(diǎn)。
• 粗粒度圖結(jié)構(gòu)將連續(xù)的、模態(tài)一致的 tokens 映射為一個(gè)節(jié)點(diǎn)，表示了模態(tài)的整體性。

根據(jù) prompt 的內(nèi)容，在粗粒度和細(xì)粒度圖中構(gòu)建表示邏輯關(guān)系的有向邊（有向邊表示信息的傳遞方向）。例如，當(dāng) prompt 為「predict future sequences using previous data」時(shí)，有向邊由表示「previous data」的時(shí)序節(jié)點(diǎn)指向 prompt 節(jié)點(diǎn)，因?yàn)闀r(shí)序數(shù)據(jù)是 prompt 的信息來(lái)源。粗粒度有向邊是細(xì)粒度有向邊的簡(jiǎn)化。

雙尺度圖結(jié)構(gòu)顯式地體現(xiàn)了時(shí)序數(shù)據(jù)和自然語(yǔ)言 prompt 之間的語(yǔ)言層級(jí)結(jié)構(gòu)和邏輯傳遞關(guān)系。粗粒度圖結(jié)構(gòu)和細(xì)粒度圖結(jié)構(gòu)在經(jīng)過(guò)圖卷積網(wǎng)絡(luò)（GCN）對(duì)節(jié)點(diǎn)嵌入進(jìn)行更新后，通過(guò)一個(gè)可學(xué)習(xí)的交互機(jī)制（根據(jù)圖 1 中的和分配矩陣計(jì)算，參考原文公式 4），使粗粒度節(jié)點(diǎn)能夠向細(xì)粒度節(jié)點(diǎn)傳遞更新后的信息，細(xì)粒度節(jié)點(diǎn)在完成自己的更新后整合來(lái)自粗粒度節(jié)點(diǎn)的信息。最后，粗粒度節(jié)點(diǎn)和細(xì)粒度節(jié)點(diǎn)嵌入將分別輸入預(yù)訓(xùn)練的大語(yǔ)言模型。

就其效果而言，該雙尺度圖結(jié)構(gòu)可以嵌入至大語(yǔ)言模型的任意層，并可多次使用，以強(qiáng)化大語(yǔ)言模型對(duì)語(yǔ)境對(duì)齊的記憶能力。

圖 1 雙尺度語(yǔ)境對(duì)齊圖結(jié)構(gòu)

VCA 和 FSCA

由于不同的 prompt 內(nèi)容對(duì)應(yīng)不同的邏輯結(jié)構(gòu)關(guān)系，因此雙尺度語(yǔ)境對(duì)齊圖結(jié)構(gòu)依賴(lài)于具體的 prompt 內(nèi)容。作者提出了兩種使用雙尺度語(yǔ)境對(duì)齊圖結(jié)構(gòu)的具體方法。

1. Vanilla Context-Alignment（VCA）

VCA 是最直接的實(shí)現(xiàn)方式，其輸入模式為時(shí)序數(shù)據(jù) + prompt。例如，在預(yù)測(cè)任務(wù)中，prompt 為「predict future sequences using previous data」，其圖結(jié)構(gòu)如圖 1 中的 VCA 所示。在分類(lèi)任務(wù)中，輸入為「時(shí)序數(shù)據(jù) + Predict category using previous data」，其圖結(jié)構(gòu)與預(yù)測(cè)任務(wù)相同。VCA 利用最簡(jiǎn)單直接的 prompt，通過(guò)雙尺度圖結(jié)構(gòu)實(shí)現(xiàn)語(yǔ)境對(duì)齊。

2. Few-Shot Context-Alignment（FSCA）

FSCA 是 VCA 的進(jìn)階版本，結(jié)合了 Few-Shot prompting 技術(shù)以進(jìn)一步提升性能。該方法的輸入包括例子 + 時(shí)序數(shù)據(jù) + prompt。在預(yù)測(cè)任務(wù)中，prompt 依然為「predict future sequences using previous data」，但需要將原始?xì)v史時(shí)序數(shù)據(jù)分成兩部分構(gòu)建一個(gè)例子：前半段數(shù)據(jù)作為后半段數(shù)據(jù)的歷史輸入，后半段數(shù)據(jù)作為利用前半段數(shù)據(jù)預(yù)測(cè)的 ground truth。這一示例有助于大語(yǔ)言模型更好地理解預(yù)測(cè)任務(wù)。其圖結(jié)構(gòu)如圖 1 中的「FSCA in TS Forecasting」所示。

圖 2 展示了 FSCA 作為一個(gè)即插即用的模塊被引入到預(yù)訓(xùn)練的大語(yǔ)言模型中進(jìn)行微調(diào)。在分類(lèi)任務(wù)中，F(xiàn)SCA 需要抽取一組時(shí)序數(shù)據(jù)和其對(duì)應(yīng)的標(biāo)簽構(gòu)成一個(gè)固定的例子，再進(jìn)行分類(lèi)預(yù)測(cè)。其圖結(jié)構(gòu)如圖 1 中的「FSCA in TS Classification」所示。

圖 2 利用 FSCA 進(jìn)行時(shí)序預(yù)測(cè)

主要實(shí)驗(yàn)結(jié)果

各種任務(wù)上的表現(xiàn)

該研究展示了長(zhǎng)期預(yù)測(cè)、短期預(yù)測(cè)、Few-Shot 預(yù)測(cè)、Zero-Shot 預(yù)測(cè)以及分類(lèi)任務(wù)的實(shí)驗(yàn)結(jié)果。

實(shí)驗(yàn)表明，F(xiàn)SCA 在多個(gè)任務(wù)中均取得了更優(yōu)的性能。尤其在 Few-Shot 預(yù)測(cè)和 Zero-Shot 預(yù)測(cè)中，F(xiàn)SCA 分別超越次優(yōu)方法 6.7% 和 13.3%。FSCA 在 Few-Shot 和 Zero-Shot 預(yù)測(cè)任務(wù)中的出色表現(xiàn)表明，雙尺度圖結(jié)構(gòu)成功引入了基于邏輯結(jié)構(gòu)的先驗(yàn)知識(shí)。這進(jìn)一步驗(yàn)證了正確的結(jié)構(gòu)劃分和邏輯引導(dǎo)對(duì)于大語(yǔ)言模型（LLM）理解時(shí)序數(shù)據(jù)的重要性。

表 1 長(zhǎng)期預(yù)測(cè)結(jié)果對(duì)比

表 2 短期預(yù)測(cè)結(jié)果對(duì)比

表 3 Few-shot 預(yù)測(cè)結(jié)果對(duì)比

表 4 Zero-shot 預(yù)測(cè)結(jié)果對(duì)比

圖 3 分類(lèi)結(jié)果對(duì)比

計(jì)算效率對(duì)比

所提出的 FSCA 在計(jì)算效率方面僅次于 GPT4TS（該方法僅在 LLM 的輸入和輸出階段加入了線(xiàn)性層）。

相比之下，其他流行方法在實(shí)現(xiàn)詞 token 對(duì)齊時(shí)往往需要付出較大的計(jì)算代價(jià)。此外，這些方法通常包含額外的操作。例如，Time-LLM 在每次迭代中都會(huì)重復(fù)生成提示并檢索相應(yīng)的嵌入，進(jìn)一步增加了計(jì)算開(kāi)銷(xiāo)。

相較而言，F(xiàn)SCA 中的雙尺度 GNN 僅引入了兩個(gè)可學(xué)習(xí)矩陣，以及兩個(gè)用于將細(xì)粒度節(jié)點(diǎn)嵌入轉(zhuǎn)化為粗粒度節(jié)點(diǎn)嵌入的可學(xué)習(xí)線(xiàn)性層。這些操作本質(zhì)上是簡(jiǎn)單的矩陣計(jì)算，極大地降低了計(jì)算復(fù)雜性。因此，F(xiàn)SCA 在計(jì)算效率上顯著優(yōu)于以往基于詞 token 對(duì)齊的方法，在保證性能提升的同時(shí)有效減少了計(jì)算資源的消耗。

總結(jié)

綜上所述，本文首次提出了語(yǔ)境對(duì)齊（Context-Alignment）的概念，并基于雙尺度圖網(wǎng)絡(luò)結(jié)構(gòu)和 Few-Shot prompting 技術(shù)設(shè)計(jì)了 FSCA 模型。與以往流行的基于詞 token 對(duì)齊的方法相比，F(xiàn)SCA 在實(shí)現(xiàn)更優(yōu)性能的同時(shí)顯著降低了計(jì)算開(kāi)銷(xiāo)。此外，原文還提供了更為詳盡的消融實(shí)驗(yàn)、分析實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)結(jié)果，全面驗(yàn)證了 FSCA 的有效性和優(yōu)勢(shì)。