2020年發布的N-BEATS、2022年發布的N-HiTS和2023年3月發布的PatchTST開始。N-BEATS和N-HiTS依賴于多層感知器架構，而PatchTST利用了Transformer架構。

2023年4月發表了一個新的模型，它在時間序列分析的多個任務中實現了最先進的結果，如預測、imputation、分類和異常檢測:TimesNet。

TimesNet由Wu、Hu、Liu等人在他們的論文《TimesNet: Temporal 2D-Variation Modeling For General Time Series Analysis》中提出。

與以前的模型不同，它使用基于cnn的架構來跨不同的任務獲得最先進的結果，使其成為時間序列分析的基礎模型的絕佳候選。

在本文中，我們將探討TimesNet的架構和內部工作原理。然后將該模型應用于預測任務，與N-BEATS和N-HiTS進行對比。

TimesNet

TimesNet背后的動機來自于許多現實生活中的時間序列表現出多周期性的認識。這意味著變化發生在不同的時期。

例如，室外溫度有日周期和年周期。通常，白天比晚上熱，夏天比冬天熱。這些多個時期相互重疊和相互作用，使得很難單獨分離和建模。

周期內變化是指溫度在一天內的變化，周期間變化是指溫度每天或每年的變化。所以TimesNet的作者提出在二維空間中重塑序列，以模擬周期內和周期間的變化。

TimesNet的架構

從上圖中，我們可以看到TimesNet是多個帶有跳過連接的TimesBlock的堆棧。

在每個TimesBlock中，首先通過快速傅立葉變換(FTT)來找到數據中的不同周期。然后被重塑為一個2D向量，并發送到一個Inception塊中，在那里它學習并預測該系列的2D表示。然后使用自適應聚合將該深度表示重塑回一維向量。

捕捉多周期性

為了捕獲時間序列中多個時期的變化，作者建議將一維序列轉換為二維空間，同時模擬周期內和周期間的變化。

在上圖中，我們可以看到模型是如何表示二維空間中的變化的。在紅色矩形內可以看到周期內的變化，也就是數據在一個周期內的變化。然后藍色矩形包含周期間變化，這是數據如何從一個時期到另一個時期的變化。

為了更好地理解這一點，假設我們有以周為周期的每日數據。周期間變化是指數據在周一、周二、周三等期間的變化情況。

那么，周期間變化就是數據從第1周的星期一到第2周的星期一，從第1周的星期二到第2周的星期二的變化。換句話說，它是同一階段的數據在不同時期的變化。

然后，這些變化在二維空間中表示，其中周期間變化是垂直的，周期內變化是水平的。這使得模型能夠更好地學習數據變化的表示。

一維矢量表示的是相鄰點之間的變化，而二維矢量表示的是相鄰點和相鄰周期之間的變化，給出了一個更完整的圖像。

原理看著很簡單，但是還有一個最重要的問題:如何找到周期?

確定周期性

為了識別時間序列中的多個周期，該模型應用了快速傅里葉變換(FTT)。

這是一個數學運算，將信號轉換成頻率和幅度的函數。

在上圖中，作者說明了金融交易稅是如何應用的。一旦我們有了每個周期的頻率和幅度，幅度最大的就被認為是最相關的。

例如，下面是對eth1數據集執行FTT的結果。

在上圖中，快速傅里葉變換能夠快速識別數據中的日周期和年周期，因為我們在這些周期中看到更高的振幅峰值。

一旦應用了FTT，用戶可以設置一個參數k來選擇top-k最重要的周期，這些周期是振幅最大的周期。

然后，TimesNet為每個周期創建2D向量，并將這些向量發送到2D內核以捕獲時間變化。

TimesBlock

一旦序列進行了傅里葉變換，并為前k個周期創建了二維張量，數據就被發送到Inception 塊，如下圖所示。

TimesBlock是最主要的模型組件：Inception模塊是2015年發布的計算機視覺模型GoogLeNet的構建塊。

Inception模塊的主要思想是通過保持數據稀疏來有效地表示數據。這樣就可以在技術上增加神經網絡的大小，同時保持其計算效率。

這是通過執行各種卷積和池化操作來實現的，然后將所有內容連接起來。在TimesNet的上下文中，這就是Inception模塊的樣子。

什么作者選擇視覺模型來處理時間序列數據。

一個簡單的答案是，視覺模型特別擅長解析2D數據，比如圖像。另一個好處是可以在TimesNet可以更其他的視覺主干。

自適應聚合

要執行聚合，必須首先將2D表示重塑為1D向量。

使用自適應聚合的原因是不同的周期有不同的振幅，這表明了它們的重要性。

這就是為什么FTT的輸出也被發送到softmax層，這樣可以使用每個周期的相對重要性進行聚合。

聚合的數據是單個TimesBlock的輸出。然后將多個TimesBlock與殘差連接疊加創建TimesNet模型。

TimesNet預測

現在讓我們將TimesNet模型應用于預測任務，并將其性能與N-BEATS和N-HiTS進行比較。

我們使用了知識共享署名許可下發布的Etth1數據集。這是文獻中廣泛使用的時間序列預測基準。它跟蹤每小時的變壓器油溫，這反映了設備的狀況。

導入庫并讀取數據，這里我們使用Nixtla提供的NeuralForecast實現。

import numpy as np
 import pandas as pd
 import matplotlib.pyplot as plt
 
 from neuralforecast.core import NeuralForecast
 from neuralforecast.models import NHITS, NBEATS, TimesNet
 
 from neuralforecast.losses.numpy import mae, mse

讀取CSV文件。

df = pd.read_csv('data/etth1.csv')
 df['ds'] = pd.to_datetime(df['ds'])
 df.head()

在上圖中，請注意數據集已經具有NeuralForecast所期望的格式。包需要三列:

• ds：日期列
• id列：unique_id
• y值列

然后，我們先看看數據

fig, ax = plt.subplots()
 
 ax.plot(df['y'])
 ax.set_xlabel('Time')
 ax.set_ylabel('Oil temperature')
 
 fig.autofmt_xdate()
 plt.tight_layout()

現在我們開始預測，使用96小時的預測長度，這是文獻中長期預測的常見長度。

我們還保留了兩個96個時間步長的窗口來評估我們的模型。

我們定義一個我們想要用來執行預測任務的模型列表。這里將使用N-BEATS, N-HiTS和TimesNet。

保留所有模型的默認參數，并將最大epoch數限制為50。請注意，默認情況下，TimesNet將選擇數據中最重要的前5個輪次。

horizon = 96
 
 models = [NHITS(h=horizon,
                input_size=2*horizon,
                max_steps=50),
          NBEATS(h=horizon,
                input_size=2*horizon,
                max_steps=50),
          TimesNet(h=horizon,
                  input_size=2*horizon,
                  max_steps=50)]

下一步是用模型列表和數據頻率(每小時一次)實例化NeuralForecasts對象。

nf = NeuralForecast(models=models, freq='H')

然后運行交叉驗證，這樣就有了數據集的預測值和實際值。可以評估每個模型的性能。

preds_df = nf.cross_validation(df=df, step_size=horizon, n_windows=2)

我們可以看到實際值，以及來自我們指定的每個模型的預測。這樣可以很容易地將預測與實際值相比較。

fig, ax = plt.subplots()
 
 ax.plot(preds_df['y'], label='actual')
 ax.plot(preds_df['NHITS'], label='N-HITS', ls='--')
 ax.plot(preds_df['NBEATS'], label='N-BEATS', ls=':')
 ax.plot(preds_df['TimesNet'], label='TimesNet', ls='-.')
 
 ax.legend(loc='best')
 ax.set_xlabel('Time steps')
 ax.set_ylabel('Oil temperature')
 
 fig.autofmt_xdate()
 plt.tight_layout()

在上圖中，似乎所有的模型都無法預測測試集中觀察到的油溫下降。但是可以看到N-BEATS和N-HiTS已經捕捉到了一些在TimesNet的預測中沒有觀察到的周期性模式。

但是最終還需要通過計算MSE和MAE來評估模型，以確定哪個模型是最好的。

data = {'N-HiTS': [mae(preds_df['NHITS'], preds_df['y']), mse(preds_df['NHITS'], preds_df['y'])],
        'N-BEATS': [mae(preds_df['NBEATS'], preds_df['y']), mse(preds_df['NBEATS'], preds_df['y'])],
        'TimesNet': [mae(preds_df['TimesNet'], preds_df['y']), mse(preds_df['TimesNet'], preds_df['y'])]}
 
 metrics_df = pd.DataFrame(data=data)
 metrics_df.index = ['mae', 'mse']
 
 metrics_df.style.highlight_min(color='lightgreen', axis=1)

從上圖可以看出，N-HiTS獲得最低的MAE，而N-BEATS獲得最低的MSE。MAE的差異為0.002,MSE的差異為0.00025。由于MSE的差異非常小，特別是考慮到誤差是平方的，所以我認為N-HiTS是這項任務的首選模型。

總結

本文并不是要證明TimesNet有多好，因為不同的模型可能適應不同的任務，并且我們也沒有進行超參數優化，我們介紹TimesNet的主要目的是他的思路，它不僅將cnn的架構引入了時間序列預測，并且還提供了一種周期性判別的新的思路，這些都是值得我們學習的。

一如既往，每個預測問題都需要一個獨特的方法和一個特定的模型，所以你可以在你的模型列表中增加一個TimesNet了。

本文代碼：https://github.com/marcopeix/time-series-analysis

TimesNet，論文地址：https://browse.arxiv.org/pdf/2210.02186.pdf