多變量時間序列預測（MTSF）在金融投資、能源管理、天氣預測和交通優化等領域具有重要應用。然而，現實中的時間序列通常面臨兩大挑戰：

1. 時間模式的異質性，即由于外部因素的影響，真實時間序列往往表現出非平穩性（Temporal Distribution Shift, TDS），導致其分布和模式發生顯著變化；

2. 通道間的復雜關系，即不同通道（變量）之間通常存在復雜且交錯的相關性，包括顯著相關的通道、噪聲通道以及無關通道，這種復雜性使得精準建模變得尤為困難。

近日，來自華東師范大學和丹麥奧爾堡大學的科研人員合作，創新性地提出了一種基于時間和通道雙向聚類架構的時間序列預測模型DUET，在多變量時間序列預測領域取得了巨大的突破。

論文地址：https://arxiv.org/pdf/2412.10859

Github：https://github.com/decisionintelligence/DUET

主要挑戰

由時序漂移引起的異質性時間模式難以建模

在實際應用中，描述不穩定系統的時間序列往往容易受到外部因素的影響。這種時間序列的非平穩性意味著數據分布會隨著時間的推移發生變化，這一現象被稱為時間分布漂移（Temporal Distribution Shift, TDS）TDS會導致時間序列呈現出不同的時間模式，這種現象正式被稱為時間模式的異質性。

例如，圖1(a) 展示了一個經濟領域的時間序列，反映了隨國際環境變化而產生的波動。

可以觀察到，三個時間區間 A、B 和 C 遵循不同的時間分布，這一點可以通過圖1 (b)、圖1 (c) 和圖1 (d) 所示的值直方圖得到證明。這種分布的變化伴隨著時間模式的差異。正如圖1 (a) 所示，藍色區間 A 呈現下降趨勢，綠色區間 B 呈現上升趨勢，而黃色區間 C 則表現為更陡峭的下降趨勢。

考慮到這些模式在時間序列中的普遍存在，將其納入建模過程顯得尤為重要。然而，近期的研究大多以隱式方式處理時間模式的異質性，這在很大程度上削弱了預測的準確性。

復雜的通道間關系難以靈活建模

多變量時間序列預測任務中，建模不同通道之間的相關性至關重要，因為利用其他相關通道的信息往往可以提升特定通道的預測精度。

例如，在天氣預測中，溫度的預測可以通過結合濕度、風速和氣壓等數據得到改進，因為這些因素之間相互關聯，可以提供更全面的天氣狀況信息。

研究人員探索了多種通道策略，包括：將每個通道獨立對待 (Channel-Independent, CI); 假設每個通道與其他所有通道相關(Channel-Dependent, CD); 以及將通道分組為若干簇 (Channel-Hard-Clustering, CHC)。

CI強制對不同通道使用相同的模型。盡管這一策略具有一定的魯棒性，但它忽略了通道之間的潛在交互，可能在未見通道的泛化能力和建模容量上受到限制；

CD 則同時考慮所有通道，并生成用于解碼的聯合表示，但可能受到無關通道噪聲的干擾，從而降低模型的魯棒性；

CHC 通過硬聚類將多變量時間序列劃分為互不相交的簇，在每個簇內使用 CD 建模方法，而在簇之間使用CI方法。

然而，該方法僅考慮同一簇內的關系，限制了其靈活性和通用性。目前尚未有一種方法能夠精確且靈活地建模通道之間的復雜交互關系。

核心貢獻

為了解決多變量時間序列預測（MTSF）問題，論文提出了一個通用框架——DUET。該框架通過時間維度和通道維度的雙向聚類，學習準確且自適應的預測模型。

研究人員設計了時間聚類模塊（TCM），將時間序列劃分為細粒度的分布簇。針對不同的分布簇設計了多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。

通道聚類模塊（CCM），通過度量學習在頻率域中靈活捕捉通道間的關系，并進行稀疏化處理以抑制噪聲通道的影響，從而實現靈活且高效的通道關系建模。

最后，在TFB的25個數據集上進行了廣泛實驗，實驗結果表明，DUET優于現有的最先進基線。此外，所有數據集和代碼已公開。

模型框架

時間聚類模塊 (TCM)

分布路由器：通過兩層全連接網絡將時間序列的潛在分布投影到高維空間，利用 Noisy Gating 技術選擇最可能的分布簇。

線性模式提取器：將時間序列分解為趨勢部分和季節性部分，分別通過線性變換提取特征。

聚合器：利用分布路由器的權重，動態聚合提取的特征，整合為全局時間特征表示。

通道聚類模塊 (CCM)

頻域通道表示：利用傅里葉變換將時間序列映射到頻率空間，以頻域特征衡量通道的相關性；使用可學習的Mahalanobis距離構建通道間的關系矩陣。

稀疏化：通過Gumbel Softmax重采樣策略，將通道關系矩陣轉化為稀疏的掩碼矩陣，僅保留對預測任務有益的通道連接。

融合模塊 (FM)

使用掩碼注意力機制，將時間特征與通道掩碼矩陣相結合，以生成最終的特征表示。

實驗效果

整體性能

DUET在10個被廣泛認可的真實數據集上大幅領先于當前最先進模型。從絕對性能的角度來看，DUET 相較于表現次優的基線模型 PDF，有顯著提升，均方誤差（MSE）降低了6.9%，平均絕對誤差（MAE）降低了 6.2%。

DUET 在應對由時間分布漂移引起的時間異質性問題時表現出卓越的能力。此外，在不同通道策略的對比中，DUET 同樣展現了 CSC 策略的顯著優勢。

消融實驗

文中進一步提供了一系列消融實驗來驗證模型框架設計的合理性。實驗表明，DUET的設計在提升模型精度上是有效的。

參數敏感性分析：

DUET根據時間序列的時間分布將其聚類為M類，其中M是模式提取器的數目，研究人員分析了不同M值對預測精度的影響，并得出以下觀察結論：

1）當M=1時，模型性能低于M≠1的情況

2）對于來自相同領域的數據集，例如電力領域的數據集ETTh1和ETTh2，最佳M值相同，均為4

3）對于來自不同領域的數據集，例如 ILI（健康領域）和 Exchange（經濟領域），最佳N值分別為2和5

4）在選擇最合適的M時，模型性能在大多數情況下顯著優于其他變體，突顯了在時間視角下進行聚類的有效性，并表明來自相同領域的數據集通常具有相似的時間分布，反之亦然。

總結

論文提出了一種通用框架DUET，該框架通過在時間維度和通道維度上引入雙向聚類來提升多變量時間序列的預測能力。

DUET集成了一個時間聚類模塊（Temporal Clustering Module，TCM），該模塊將時間序列聚類為細粒度的分布簇，并針對不同分布簇設計多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。

此外，研究人員引入了通道聚類模塊（Channel Clustering Module，CCM），采用通道軟聚類策略，通過度量學習在頻率域中捕捉通道之間的關系，并進行稀疏化處理。

最后，融合模塊（Fusion Module，FM）基于掩碼注意力機制，將TCM提取的時間特征與CCM生成的通道掩碼矩陣高效結合，這些創新機制共同賦予DUET卓越的預測性能。