在這個系列里，圓圓會帶大家梳理2024年時間序列預(yù)測領(lǐng)域的經(jīng)典工作，涉及多個優(yōu)化方向。在這一節(jié)里，會為大家整體介紹2024年的時間序列一些具有突破性進(jìn)展的領(lǐng)域。后續(xù)章節(jié)將持續(xù)在知識星球中更新，深入解讀和串聯(lián)這些領(lǐng)域的相關(guān)工作。

1.時間序列基礎(chǔ)模型

2024年是時間序列預(yù)測與大模型深度結(jié)合的元年，涌現(xiàn)了很多時間序列基礎(chǔ)模型和大模型中建模方法在時間序列預(yù)測的應(yīng)用。

一方面，今年出現(xiàn)了很多類型的時間序列基礎(chǔ)模型，希望通過多源數(shù)據(jù)的聯(lián)合訓(xùn)練，構(gòu)建一個類似于LLM的統(tǒng)一時間序列模型，能夠解決各類時間序列問題。這其中的各類問題，包括各類時間序列任務(wù)（如預(yù)測、分類、填充等）、各類分布的時間序列數(shù)據(jù)集、各類時間序列數(shù)據(jù)形式（如預(yù)測長度、變量數(shù)量等）。業(yè)內(nèi)也逐漸關(guān)注時間序列基礎(chǔ)模型在zero-shot、few-shot中的效果。

另一方面，LLM中的建模方法也在時間序列中取得應(yīng)用，例如In-context Learning、RAG等建模方式，都嘗試了在時間序列領(lǐng)域的遷移，并取得了一定的效果。

2.擴(kuò)散模型和時間序列

擴(kuò)散模型在時間序列中的應(yīng)用，在最近兩三年一直是一個研究熱點。特別是在今年Sora等生成式大模型發(fā)布后，擴(kuò)散模型和時間序列的結(jié)合更加緊密。并且，今年相關(guān)領(lǐng)域中，重點研究了如何針對時間序列生成的特有問題，對擴(kuò)散模型中的各個模塊進(jìn)行優(yōu)化升級，讓擴(kuò)散模型更適配時間序列這種低密度、高不確定性的數(shù)據(jù)形式。

3.時序模型結(jié)構(gòu)優(yōu)化

在模型結(jié)構(gòu)方面，繼去年的線性模型和Transformer模型之爭、PatchTST的提出，今年仍然有許多針對Transformer時間序列模型的升級。

除了Transformer模型的優(yōu)化外，一些近期在LLM領(lǐng)域逐漸興起的LSTM、Mamba等傳統(tǒng)序列模型和序列模型的升級版本，也因其天然適配于時間序列數(shù)據(jù)形式，被在時間序列領(lǐng)域follow了起來。特別是2024年的下半年，涌現(xiàn)了一大批基于Mamba的時間序列模型。

4.時序信息維度優(yōu)化

相比從模型結(jié)構(gòu)上的優(yōu)化，今年更多的工作是信息構(gòu)建形式上的優(yōu)化，例如頻域信息的進(jìn)一步應(yīng)用、輸入信號的分解、時間序列的多尺度建模等方面，今年都提出了很多新穎有效的解決方案。

例如，如何將時間序列進(jìn)行更細(xì)粒度的分解，傳統(tǒng)的趨勢項、季節(jié)項分解是否已經(jīng)能夠滿足需求？頻域信息如何和時域信息更有機(jī)的進(jìn)行結(jié)合？多尺度時間序列數(shù)據(jù)的聯(lián)合建模和融合方法。這些都是今年從時間序列信息增量的維度，更進(jìn)一步深入研究的主題。

5.多變量關(guān)系建模

多變量關(guān)系建模仍然是時間序列領(lǐng)域關(guān)注的焦點，因為其在實際應(yīng)用中最為常見。相比之前采用的時序、變量間關(guān)系耦合在一起建模，今年的工作更進(jìn)一步實現(xiàn)了多變量關(guān)系、時間序列建模的拆解。針對多變量關(guān)系建模中存在的問題，提出了包括基于聚類、解耦attention、圖學(xué)習(xí)等多個角度的優(yōu)化，均取得了不錯的效果提升。

6.總結(jié)

2024年涌現(xiàn)了很多深度學(xué)習(xí)+時間序列的優(yōu)秀工作，擴(kuò)散模型、LLM在時間序列問題的應(yīng)用成為主流。同時，像去年比較火的時間序列表示學(xué)習(xí)、時間序列線性模型等方向，進(jìn)展減少，更多的是融合到了其他優(yōu)化工作中。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise