擴(kuò)散模型是目前生成式AI中的最核心模塊，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了廣泛的應(yīng)用。與此同時(shí)，擴(kuò)散模型也被越來(lái)越多的應(yīng)用到了時(shí)間序列中。這篇文章給大家介紹了擴(kuò)散模型的基本思路，以及幾篇擴(kuò)散模型用于時(shí)間序列的典型工作，帶你理解擴(kuò)散模型在時(shí)間序列中的應(yīng)用原理。

1.擴(kuò)散模型建模思路

生成模型的核心是，能夠從隨機(jī)簡(jiǎn)單分布中采樣一個(gè)點(diǎn)，并通過(guò)一系列變換將這個(gè)點(diǎn)映射到目標(biāo)空間的圖像或樣本上。擴(kuò)散模型的做法是，在采樣的樣本點(diǎn)上，不斷的去噪聲，經(jīng)過(guò)多個(gè)去除噪聲的步驟，生成最終的數(shù)據(jù)。這個(gè)過(guò)程很像雕塑的過(guò)程，最開(kāi)始從高斯分布采樣的噪聲就是最開(kāi)始的原材料，去噪聲的過(guò)程就是不斷在這個(gè)材料上鑿掉多余部分的過(guò)程。

上面所說(shuō)的就是逆向過(guò)程，即從一個(gè)噪聲中逐漸去掉噪聲，得到圖像。這個(gè)過(guò)程是一個(gè)迭代的過(guò)程，要經(jīng)歷T次的去噪，一點(diǎn)點(diǎn)從原始采樣點(diǎn)中把噪聲去掉。在每個(gè)步驟中，輸入上一個(gè)步驟生成的結(jié)果，并且需要預(yù)測(cè)噪聲，再用輸入減去噪聲，得到當(dāng)前時(shí)間步的輸出。

這里就需要訓(xùn)練一個(gè)預(yù)測(cè)當(dāng)前步驟噪聲的模塊（去噪模塊），這個(gè)模塊輸入當(dāng)前的步驟t，以及當(dāng)前步驟的輸入，預(yù)測(cè)噪聲是什么。這個(gè)預(yù)測(cè)噪聲的模塊，是通過(guò)正向過(guò)程進(jìn)行的，和VAE中的Encoder部分比較像。在正向過(guò)程中，輸入一個(gè)圖像，每個(gè)步驟采樣一個(gè)噪聲，將噪聲加到原始圖像上，得到生成的結(jié)果。然后再以生成的結(jié)果和當(dāng)前步驟t的embedding為輸入，預(yù)測(cè)生成的噪聲，以此達(dá)到訓(xùn)練去噪模塊的作用。

2.擴(kuò)散模型在時(shí)間序列中的應(yīng)用

TimeGrad是最早使用擴(kuò)散模型做時(shí)間序列預(yù)測(cè)的方法之一。在基礎(chǔ)的擴(kuò)散模型基礎(chǔ)上，TimeGrad給每個(gè)時(shí)間步的去噪模塊額外輸入了一個(gè)hidden state，這個(gè)hidden state是使用RNN模型對(duì)歷史序列、外部變量進(jìn)行編碼得到的，以此指導(dǎo)擴(kuò)散模型生成序列的過(guò)程。整體的邏輯如下圖所示。

在去噪模塊的網(wǎng)絡(luò)結(jié)構(gòu)上，主要采用了卷積網(wǎng)絡(luò)，輸入包括上一個(gè)步驟的輸出序列和RNN輸出的hidden state經(jīng)過(guò)上采樣生成的結(jié)果，二者分別過(guò)卷積后相加，用于噪聲預(yù)測(cè)。

這篇文章使用擴(kuò)散模型建模時(shí)間序列填充任務(wù)，整體建模方式和TimeGrad比較像。如下圖所示，最開(kāi)始時(shí)間序列是有缺失值的，首先對(duì)其填充上噪聲，然后使用擴(kuò)散模型逐漸預(yù)測(cè)噪聲實(shí)現(xiàn)去噪，經(jīng)過(guò)多個(gè)步驟后最終得到填充結(jié)果。

整個(gè)模型的核心也是擴(kuò)散模型訓(xùn)練去噪模塊。核心是訓(xùn)練噪聲預(yù)測(cè)網(wǎng)絡(luò)，每個(gè)步驟輸入當(dāng)前的步驟embedding、歷史的觀測(cè)結(jié)果以及上一個(gè)時(shí)刻的輸出，預(yù)測(cè)噪聲結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)上使用Transformer，包括時(shí)間維度上的Transformer和變量維度的Transformer兩個(gè)部分。

本文提出的方法相比TimeGrad上升了一個(gè)層次，是通過(guò)擴(kuò)散模型直接建模生成時(shí)間序列的函數(shù)本身。這里假設(shè)每一個(gè)觀測(cè)點(diǎn)都是從一個(gè)函數(shù)中生成的，然后直接建模這個(gè)函數(shù)的分布，而不是建模時(shí)間序列中數(shù)據(jù)點(diǎn)的分布。因此，文中將擴(kuò)散模型中添加的獨(dú)立噪聲改成隨時(shí)間變化的噪聲，并訓(xùn)練擴(kuò)散模型中的去噪模塊實(shí)現(xiàn)對(duì)函數(shù)的去噪。

這篇文章將擴(kuò)散模型應(yīng)用到ICU中的關(guān)鍵信號(hào)提取。文中的核心一方面是對(duì)于稀疏不規(guī)則的醫(yī)療時(shí)序數(shù)據(jù)的處理，使用value、feature、time三元組表示序列中的每個(gè)點(diǎn)，對(duì)確實(shí)值部分使用mask。另一方面是基于Transformer和擴(kuò)散模型的預(yù)測(cè)方法。整體的擴(kuò)散模型過(guò)程如圖，跟圖像的生成模型原理是類似的，根據(jù)歷史的時(shí)間序列訓(xùn)練去噪模型，然后在前向傳播中逐漸從初始噪聲序列中減掉噪聲。

具體的擴(kuò)散模型中噪聲預(yù)測(cè)的部分采用的是Transformer結(jié)構(gòu)。每個(gè)時(shí)間點(diǎn)由mask以及三元組組成，輸入到Transformer中，作為去噪模塊預(yù)測(cè)噪聲。詳細(xì)結(jié)構(gòu)包括3層Transformer，每個(gè)Transformer包括2層Encoder和2層Decoder網(wǎng)絡(luò)，Decoder的輸出使用殘差網(wǎng)絡(luò)連接，并輸入到卷積Decoder生成噪聲預(yù)測(cè)結(jié)果。