在最近的時間序列預測研究工作中，有一類工作將圖學習和時間序列結合了起來，從圖學習的視角理解時間序列預測。這類工作中，一種是用圖學習建模多變量間的關系，解決多元時序預測問題；另一種是直接把時間序列中的各個時間步看成圖中的一個節點，用圖學習建模時間步之間的依賴關系。這篇文章匯總了近期4篇圖學習視角解決時間序列預測問題的工作。

1.ForecastGrapher

論文標題：ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks

下載地址：??https://arxiv.org/pdf/2405.18036v1??

圖片

本文從圖學習的角度解決多元時間序列預測問題，將每個變量當成圖中的一個節點。

在iTransformer這篇工作中，將transformer作用到channel維度。這個過程其實很想圖學習，將每個變量的序列先映射成一個表征，再類似graph attention network的方式計算圖中兩兩節點之間的表征再融合。本文收到這個啟發，提出用圖學習的方法直接建模多變量時間序列，將多元時序預測問題轉換成了圖回歸任務。

整體模型分為時序表征和圖學習兩個部分。每個變量視為圖中的一個節點，首先使用一個簡單的MLP網絡，將一個變量的時間序列映射成一個表征向量。同時，將變量ID、日期特征也加入到表征中。在圖學習階段，一方面需要定義圖中的臨接矩陣，即各個節點之間的關系。這里使用的方法類似時空預測中的常用方法，用節點embedding內積+激活函數自動學習兩兩節點之間的打分作為鄰接矩陣。

圖片

在圖模型部分，提出了Group Feature Convolution建模方法。在GCN的基礎上，文中將每個變量的表征先擴充維度再分組，每個分組內用不同尺寸的CNN進行圖學習。用這種多粒度的圖學習方法，替代原始的圖學習中固定的信息傳播和匯聚規則，讓圖學習過程學習更加靈活。最后，再通過一個可學習的權重，對不同分組的圖學習表征進行融合，使用一個映射網絡映射到預測結果。

圖片

2.DGCformer

論文標題：DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2405.08440v1??

圖片

本文提出了一種多元時間序列建模中，融合channel dependent和channel independent的方法，核心思路是通過聚類將多元時間序列分成多個類簇，以此篩選出具有關系的變量，再在每個類簇內通過使用channel dependent的建模方法，而類簇間使用channel independent的建模方法。

多元時間序列建模問題中，channel dependent雖然可以建模各個變量之間的信息，但是對于每個變量來說，也會引入一些無關變量，帶來關系建模的噪聲，導致效果不如channel independent。因此本文希望通過聚類的方式，提前挖掘有相關關系的變量作為一個group，對group內部的變量進行channel dependent的建模，減少無關變量噪聲的干擾。

具體的，文中核心分為聚類和預測兩個部分。在聚類部分，首先使用一個基于GRU的autoencoder，對時間序列進行編碼，得到隱空間表征H。同時，初始化預先定義類簇數量的embedding，用H和這些類簇embedding計算相似度后，得到該變量序列應該被分配到哪個類簇。另外還有一路圖聚類模型，這個模塊直接利用GCN建模各個變量之間的關系，圖鄰接矩陣隨機初始化。圖聚類和自編碼器表征聚類這兩部分學習得到的聚類分布通過KL散度進行一致性約束。在圖聚類過程中會加入autoencoder生成的隱狀態編碼提升學習效果。整體的聚類使用Kmeans優化目標進行擬合。

圖片

另一部分是預測部分，預測部分基于transformer結構，在同一個序列的patch間，以及根據上面聚類結果進行變量序列間的建模。在變量間attention中，根據聚類結果設定mask，實現mask attention只建模同一聚類簇內部的變量間關系。

3.FourierGNN

論文標題：FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

下載地址：??https://arxiv.org/pdf/2311.06190v1.pdf??

圖片

之前的多變量時序預測或者時空預測，都需要將時間序列建模和圖學習融合起來，例如并行融合、串聯融合等，在之前時空預測專題中進行過詳細介紹。然而這種方式，總歸還是兩種建模方式的拼接，無法充分融合時間和空間的信息。

NIPS 2023的這篇文章，提出了一種統一的建模視角，將整個多元時間序列看成一個超圖。超圖是圖的一個擴充，原始的圖中，一條邊只能連接個點，而超圖中，一條邊可以連接多個點。對于多元時間序列，每個時刻的每個變量都視為一個圖上的節點，將同一個時刻的多個變量用一條邊相連，時間維度關系也進行連邊。最后，可以直接在這個超圖上統一進行時間序列建模，文中采用Fourier Graph Nerual Network實現統一建模。通過這種方式，將時間和空間信息融為同一種圖形式，不再需要獨立建模時空信息再進行融合，是一種純圖視角的建模。

圖片

4.MSHyper

論文標題：MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2401.09261v1.pdf??

圖片

本文提出一種基于超圖的長周期時間序列建模方法，核心是為了同時建模不同scale之間和不同時間步之間的關系。時間序列的scale、temporal之間存在復雜的依賴關系，如何同時充分建模二者之間的關系是一個難點。本文提出構建一個超圖解決。

首先，底層通過多scale建模生成不同粒度的表征。常見的方法是，底層輸入最細粒度的時間序列，然后逐層使用卷積+pooling的形式逐漸匯聚，生成不同粒度的表征，每個scale每個時間窗口的表征可以視為圖中的一個節點。接下來，構建3種類型的超圖，分別是intra-scale、inter-scale、mixed-scale，各種超圖分別連接不同的節點集合，以學習不同的依賴關系。Intra-scale主要用來學習scale內部的時序依賴關系，因此將同一個scale的一定相鄰時間窗口內的節點用一個超邊連接。Inter-scale用來建立不同scale之間的關系，因此將相鄰窗口的底層節點、這些節點公共的父節點等一個時間維度上不同scale的節點用超邊連接。

在建模過程中，采用Tri-Stage Message Passing Mechanism進行信息傳遞，包括 node-hyperedge、hyperedge-hyperedge、hyperedge-node三個階段，在超圖上進行信息融合，分別實現節點到超邊、超邊到超邊、超邊到節點的信息匯聚。

本文轉載自?? 圓圓的算法筆記??，作者： Fareise