在人工智能領(lǐng)域，目前有很多工作采用自回歸方法來(lái)模擬或是替代擴(kuò)散模型，其中視覺自回歸建模（Visual AutoRegressive modeling，簡(jiǎn)稱 VAR）就是其中的典型代表，該工作利用自回歸取得了比傳統(tǒng)基于噪聲的擴(kuò)散模型更好的生成效果，并且獲得了人工智能頂級(jí)會(huì)議 NeurIPS 2024 的 best paper。然而在時(shí)間序列預(yù)測(cè)領(lǐng)域，當(dāng)前主流的擴(kuò)散方法還是傳統(tǒng)的基于噪聲的方法，未能充分利用自回歸技術(shù)實(shí)現(xiàn)時(shí)間序列建模。

近期，來(lái)自上海交通大學(xué)和東方理工的研究團(tuán)隊(duì)推出了自回歸移動(dòng)擴(kuò)散（Auto-Regressive Moving Diffusion，簡(jiǎn)稱 ARMD）模型。ARMD 模型受經(jīng)典的自回歸移動(dòng)平均（ARMA）理論啟發(fā)，重新定義了時(shí)間序列的擴(kuò)散過(guò)程：如圖一所示，與傳統(tǒng)的基于噪聲的擴(kuò)散方法不同，ARMD 將時(shí)間序列的演進(jìn)看成是一個(gè)擴(kuò)散過(guò)程，并采用了基于鏈?zhǔn)綌U(kuò)散的方式。它的前向過(guò)程由未來(lái)序列擴(kuò)散到歷史序列，并根據(jù)擴(kuò)散步數(shù)通過(guò)滑動(dòng)序列的操作生成中間狀態(tài)；反向過(guò)程則通過(guò)歷史序列‘采樣’生成未來(lái)序列，實(shí)現(xiàn)了采樣和預(yù)測(cè)目標(biāo)的統(tǒng)一。

圖一：已有的基于噪聲的時(shí)序擴(kuò)散方法和 ARMD 的時(shí)序擴(kuò)散方法對(duì)比。

相比于傳統(tǒng)基于擴(kuò)散的時(shí)序模型，ARMD 并沒有將時(shí)間序列預(yù)測(cè)視為從噪聲起步的條件生成任務(wù)，而是充分利用時(shí)間序列數(shù)據(jù)的連續(xù)演化特性，實(shí)現(xiàn)了擴(kuò)散機(jī)制與時(shí)間序列連續(xù)性之間的對(duì)齊，從而提升了模型性能。該項(xiàng)研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》為題，被 AAAI 2025 接收。

• 論文標(biāo)題：Auto-Regressive Moving Diffusion Models for Time Series Forecasting
• 論文地址：https://arxiv.org/abs/2412.09328
• 項(xiàng)目地址：https://github.com/daxin007/ARMD

方法介紹

針對(duì)時(shí)序預(yù)測(cè)任務(wù)，該研究用歷史序列去預(yù)測(cè)未來(lái)序列，其中 L 為歷史序列的長(zhǎng)度，T 為未來(lái)序列的長(zhǎng)度。在該任務(wù)中，研究人員將歷史序列的長(zhǎng)度設(shè)置為與未來(lái)序列相同，即 L=T。

在 ARMD 中，時(shí)間序列的演進(jìn)被概念化為一個(gè)擴(kuò)散過(guò)程，時(shí)間序列的每一步都可以看成是擴(kuò)散模型的一個(gè)狀態(tài)，如圖二所示。未來(lái)序列（下標(biāo)表示在序列中的位置，上標(biāo)表示在擴(kuò)散模型中的狀態(tài)）作為前向擴(kuò)散（演進(jìn)）過(guò)程的初始狀態(tài)，而歷史序列則是最終狀態(tài)。不同于傳統(tǒng)方法逐漸添加噪聲生成中間狀態(tài)，ARMD 通過(guò)對(duì)進(jìn)行滑動(dòng)操作來(lái)生成中間狀態(tài)（序列），使其逐漸接近歷史序列。這一過(guò)程不僅保持了時(shí)間序列的連續(xù)性，還確保每個(gè)中間狀態(tài)反映了時(shí)間序列演進(jìn)的特定階段。由初始狀態(tài)到中間狀態(tài)添加的內(nèi)容可以定義為演進(jìn)趨勢(shì)，類似于傳統(tǒng)擴(kuò)散模型中的噪聲。

反向去噪（逆演進(jìn)）過(guò)程則利用歷史序列來(lái)迭代生成（預(yù)測(cè)）未來(lái)序列。ARMD 采用了一個(gè)基于距離的去噪（逆演進(jìn)）網(wǎng)絡(luò)，根據(jù)中間狀態(tài)和時(shí)間步 t 得到時(shí)間序列的演進(jìn)趨勢(shì)。

圖二: ARMD 擴(kuò)散模型示意圖。在前向擴(kuò)散（演進(jìn)）過(guò)程中，未來(lái)序列逐漸被轉(zhuǎn)化為歷史序列。相反，反向去噪（反演進(jìn)）過(guò)程則利用歷史序列迭代地生成 / 預(yù)測(cè)未來(lái)序列。

在最終的采樣（預(yù)測(cè)階段），ARMD 從歷史序列開始，迭代生成對(duì)未來(lái)序列的預(yù)測(cè)，使采樣過(guò)程和最終的時(shí)間序列預(yù)測(cè)目標(biāo)對(duì)齊，從而使 ARMD 成為無(wú)條件的時(shí)序擴(kuò)散模型。采樣過(guò)程遵循 DDIM（Denoising Diffusion Implicit Models）的方法，用預(yù)測(cè)的演進(jìn)趨勢(shì)替代傳統(tǒng)擴(kuò)散模型中預(yù)測(cè)的噪聲，并通過(guò)逐步去噪（反演進(jìn)）得到對(duì)模型的最終預(yù)測(cè)。

模型結(jié)果

經(jīng)過(guò)在七個(gè)廣泛使用的時(shí)序預(yù)測(cè)數(shù)據(jù)集上的大量實(shí)驗(yàn)，ARMD 模型的表現(xiàn)超越了現(xiàn)有的基于擴(kuò)散的時(shí)間序列預(yù)測(cè)模型，并且和最先進(jìn)的端到端時(shí)間序列預(yù)測(cè)模型取得了相當(dāng)?shù)男ЧＤＰ偷念A(yù)測(cè)結(jié)果如表一和表二所示：

表一：時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)之與基于擴(kuò)散的時(shí)間序列預(yù)測(cè)基準(zhǔn)模型的結(jié)果比較。最佳結(jié)果以粗體突出顯示。“最佳次數(shù)” 列表明模型取得最佳結(jié)果的次數(shù)。

表二：時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)之與端對(duì)端時(shí)間序列預(yù)測(cè)基準(zhǔn)模型的結(jié)果比較。最佳結(jié)果以粗體突出顯示。“最佳次數(shù)” 列表明模型取得最佳結(jié)果的次數(shù)。

另外，由于擴(kuò)散過(guò)程的優(yōu)化，ARMD 模型在訓(xùn)練推理時(shí)間和預(yù)測(cè)的穩(wěn)定性方面相對(duì)于之前的時(shí)序擴(kuò)散模型也有明顯的優(yōu)勢(shì)。ARMD 模型的預(yù)測(cè)效果示例如圖三所示：ARMD 在具有明顯周期性或趨勢(shì)特征的時(shí)間序列上展現(xiàn)了卓越的預(yù)測(cè)性能，能夠有效地捕捉這些時(shí)間序列中的相關(guān)特征，且相對(duì)于其他擴(kuò)散模型預(yù)測(cè)更加穩(wěn)定。

總結(jié)

綜上所述，Auto-Regressive Moving Diffusion (ARMD) 模型通過(guò)重新詮釋時(shí)間序列的擴(kuò)散過(guò)程，結(jié)合時(shí)間序列的自回歸特性，成功彌合了擴(kuò)散機(jī)制與時(shí)間序列預(yù)測(cè)目標(biāo)之間的差距。不同于傳統(tǒng)方法從白噪聲開始逐步添加噪聲，ARMD 采用鏈?zhǔn)綌U(kuò)散策略，通過(guò)滑動(dòng)操作將未來(lái)序列逐漸轉(zhuǎn)化為歷史序列，更準(zhǔn)確地模擬時(shí)間序列的演化路徑。該模型還引入了獨(dú)特的反向去噪（逆演化）過(guò)程，利用歷史序列迭代生成（預(yù)測(cè)）未來(lái)序列，有效捕捉時(shí)間序列的特征。實(shí)驗(yàn)結(jié)果和理論分析共同證明了 ARMD 作為一種穩(wěn)健且有效的時(shí)間序列預(yù)測(cè)方案的巨大潛力。

圖三: ARMD 和 Diffusion-TS 在給定相同歷史序列的情況下，分別做出的 10 次不同預(yù)測(cè)的分布情況。ARMD 實(shí)現(xiàn)了更穩(wěn)定且準(zhǔn)確的預(yù)測(cè)。