擴散模型是目前生成式AI中的最核心模塊，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了廣泛的應用。與此同時，擴散模型也被越來越多的應用到了時間序列中。這篇文章給大家介紹了擴散模型的基本思路，以及幾篇擴散模型用于時間序列的典型工作，帶你理解擴散模型在時間序列中的應用原理。

1、擴散模型建模思路

生成模型的核心是，能夠從隨機簡單分布中采樣一個點，并通過一系列變換將這個點映射到目標空間的圖像或樣本上。擴散模型的做法是，在采樣的樣本點上，不斷的去噪聲，經過多個去除噪聲的步驟，生成最終的數據。這個過程很像雕塑的過程，最開始從高斯分布采樣的噪聲就是最開始的原材料，去噪聲的過程就是不斷在這個材料上鑿掉多余部分的過程。

上面所說的就是逆向過程，即從一個噪聲中逐漸去掉噪聲，得到圖像。這個過程是一個迭代的過程，要經歷T次的去噪，一點點從原始采樣點中把噪聲去掉。在每個步驟中，輸入上一個步驟生成的結果，并且需要預測噪聲，再用輸入減去噪聲，得到當前時間步的輸出。

這里就需要訓練一個預測當前步驟噪聲的模塊（去噪模塊），這個模塊輸入當前的步驟t，以及當前步驟的輸入，預測噪聲是什么。這個預測噪聲的模塊，是通過正向過程進行的，和VAE中的Encoder部分比較像。在正向過程中，輸入一個圖像，每個步驟采樣一個噪聲，將噪聲加到原始圖像上，得到生成的結果。然后再以生成的結果和當前步驟t的embedding為輸入，預測生成的噪聲，以此達到訓練去噪模塊的作用。

2、擴散模型在時間序列中的應用

TimeGrad: Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting（2021）

TimeGrad是最早使用擴散模型做時間序列預測的方法之一。在基礎的擴散模型基礎上，TimeGrad給每個時間步的去噪模塊額外輸入了一個hidden state，這個hidden state是使用RNN模型對歷史序列、外部變量進行編碼得到的，以此指導擴散模型生成序列的過程。整體的邏輯如下圖所示。

在去噪模塊的網絡結構上，主要采用了卷積網絡，輸入包括上一個步驟的輸出序列和RNN輸出的hidden state經過上采樣生成的結果，二者分別過卷積后相加，用于噪聲預測。

CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation（2021）

這篇文章使用擴散模型建模時間序列填充任務，整體建模方式和TimeGrad比較像。如下圖所示，最開始時間序列是有缺失值的，首先對其填充上噪聲，然后使用擴散模型逐漸預測噪聲實現去噪，經過多個步驟后最終得到填充結果。

整個模型的核心也是擴散模型訓練去噪模塊。核心是訓練噪聲預測網絡，每個步驟輸入當前的步驟embedding、歷史的觀測結果以及上一個時刻的輸出，預測噪聲結果。

網絡結構上使用Transformer，包括時間維度上的Transformer和變量維度的Transformer兩個部分。

DSPD & CSPD: Modeling Temporal Data as Continuous Functions with Process Diffusion（2022）

本文提出的方法相比TimeGrad上升了一個層次，是通過擴散模型直接建模生成時間序列的函數本身。這里假設每一個觀測點都是從一個函數中生成的，然后直接建模這個函數的分布，而不是建模時間序列中數據點的分布。因此，文中將擴散模型中添加的獨立噪聲改成隨時間變化的噪聲，并訓練擴散模型中的去噪模塊實現對函數的去噪。

TDSTF: Transformer-based Diffusion probabilistic model for Sparse Time series Forecasting（2023）

這篇文章將擴散模型應用到ICU中的關鍵信號提取。文中的核心一方面是對于稀疏不規則的醫療時序數據的處理，使用value、feature、time三元組表示序列中的每個點，對確實值部分使用mask。另一方面是基于Transformer和擴散模型的預測方法。整體的擴散模型過程如圖，跟圖像的生成模型原理是類似的，根據歷史的時間序列訓練去噪模型，然后在前向傳播中逐漸從初始噪聲序列中減掉噪聲。

具體的擴散模型中噪聲預測的部分采用的是Transformer結構。每個時間點由mask以及三元組組成，輸入到Transformer中，作為去噪模塊預測噪聲。詳細結構包括3層Transformer，每個Transformer包括2層Encoder和2層Decoder網絡，Decoder的輸出使用殘差網絡連接，并輸入到卷積Decoder生成噪聲預測結果。

本文轉載自 ??圓圓的算法筆記??，作者： Fareise