今天介紹一篇南大今年4月份發(fā)表的文章，主要探討了多元時間序列預(yù)測問題中，獨立預(yù)測（channel independent）和聯(lián)合預(yù)測（channel dependent）二者效果的差異、背后的原因以及優(yōu)化方法。

論文標題：The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting

下載地址：https://arxiv.org/pdf/2304.05206v1.pdf

1、獨立預(yù)測和聯(lián)合預(yù)測

多元時間序列預(yù)測問題中，從多變量建模方法的維度有兩種類型，一種是獨立預(yù)測（channel independent，CI），指的是把多元序列當(dāng)成多個單變量預(yù)測，每個變量分別建模；另一種是聯(lián)合預(yù)測（channel dependent，CD），指的是多變量一起建模，考慮各個變量之間的關(guān)系。二者的差異如下圖。

這兩種方式各有特點：CI方法只考慮單個變量，模型更簡單，但是天花板也較低，因為沒有考慮各個序列之間的關(guān)系，損失了一部分關(guān)鍵信息；而CD方法考慮的信息更全面，但是模型也更加復(fù)雜。

2、哪種方法更好

文中首先做了詳細的對比實驗，在多個數(shù)據(jù)集，觀察CI方法和CD方法哪種效果更好（采用線性模型）。文中實驗得到的一個核心結(jié)論是：CI方法在大多數(shù)任務(wù)上表現(xiàn)的更好，并且效果方差也更小。下面這張圖中可以看到，CI的MAE、MSE等指標在各個數(shù)據(jù)集上基本都小于CD，同時效果的波動也更小一些。

從下面的實驗結(jié)果可以看到，CI相比CD，在絕大多數(shù)預(yù)測窗口長度和數(shù)據(jù)集上，效果都是提升的。

為什么CI方法在實際應(yīng)用中比CD效果更好、更穩(wěn)定呢？文中進行了一些理論證明，核心的結(jié)論是：真實數(shù)據(jù)往往存在Distribution Drift，而使用CI方法有助于緩解這個問題，提升模型泛化性。下面這張圖，展示了各個數(shù)據(jù)集trainset和testset的ACF（自相關(guān)系數(shù)，反映了未來序列和歷史序列之間的關(guān)系）隨時間變化分布，可以看到Distribution Drift在各個數(shù)據(jù)集上是廣泛存在的（也就是trainset的ACF和testset的ACF不同，即兩者的歷史與未來序列的關(guān)系不同）。

文中通過理論證明了CI對于緩解因此Distribution Drift有效，CI和CD之間的選擇，是一種模型容量和模型魯棒性之間的權(quán)衡。CD模型更加復(fù)雜，但是也對于Distribution Drift更敏感。這其實和模型容量與模型泛化性之間的關(guān)系類似，越復(fù)雜的模型，模型擬合的訓(xùn)練集樣本越準確，但是泛化性較差，一旦訓(xùn)練集和測試集分布差異較大，效果就會變差。

3、如何優(yōu)化

針對CD建模的問題，文中提出了一些優(yōu)化方法，可以幫助CD模型更具魯棒性。

正則化：引入一個正則化損失，用序列減去最近的樣本點作為歷史序列輸入模型進行預(yù)測，同時使用平滑約束預(yù)測結(jié)果，讓預(yù)測結(jié)果和最近鄰的觀測值偏差不要太大，使得預(yù)估結(jié)果更平；

低秩分解：將全連接參數(shù)矩陣分解成兩個低階矩陣，相當(dāng)于減少了模型容量，緩解過擬合問題，提升模型魯棒性；

損失函數(shù)：采用MAE替代MSE，降低模型對于異常值的敏感度；

歷史輸入序列長度：對于CD模型來說，輸入的歷史序列越長，可能反而會造成效果的下降，也是因為歷序列越長，模型越容易受到Distribution Shift的影響，而對于CI模型，增長歷史序列長度可以比較穩(wěn)定的提升預(yù)測效果。

4、實驗效果

文中將上面提到的改進CD模型的方法在多個數(shù)據(jù)集上進行實驗，相比CD取得比較穩(wěn)定的效果提升，說明上述方法對于提升多元序列預(yù)測魯棒性有比較明顯的作用。此外，文中也列舉了低秩分解、歷史窗口長度、損失函數(shù)類型等對于效果的影響實驗結(jié)果。