前言

本期我們推出創(chuàng)新性預(yù)測模型：CEEMDAN分解+Informer-LSTM+XGBoost組合預(yù)測模型。通過CEEMDAN自適應(yīng)信號分解將原始序列解耦為多頻分量，構(gòu)建高頻-低頻兩級預(yù)測通道：

• 高頻分量由于其復(fù)雜性，采用參數(shù)豐富的 Informer-LSTM 并行模型，這種結(jié)合了注意力機(jī)制和長短期記憶網(wǎng)絡(luò)的模型能更好地捕獲長程依賴和復(fù)雜動態(tài)變化；
• 低頻分量則使用 XGBoost，這是一種高效的梯度提升決策樹模型，能夠快速處理簡單且低頻的特征，避免過擬合。

各模型分別對其對應(yīng)的分量進(jìn)行預(yù)測，生成每個 IMFs 的預(yù)測值；然后將所有預(yù)測的 IMFs 重新組合，構(gòu)建出完整的預(yù)測信號。通過合理分配復(fù)雜模型和簡單模型的任務(wù)，我們能夠在不同頻率特征的信號上實(shí)現(xiàn)最佳的預(yù)測性能。

1.創(chuàng)新模型簡介

1.1 模型評估：

1.2 預(yù)測可視化：

2.模型創(chuàng)新點(diǎn)介紹

2.1 分解-組合預(yù)測策略

使用復(fù)雜模型去預(yù)測數(shù)據(jù)的分量特征，因?yàn)閺?fù)雜模型參數(shù)量大，適合預(yù)測高頻復(fù)雜分量特征，但是低頻分量特征比較簡單，要是還用復(fù)雜模型的話，就容易過擬合，反而效果不好，所以對于低頻分量特征 我們采用簡單模型（或者機(jī)器學(xué)習(xí)模型）去預(yù)測，然后進(jìn)行預(yù)測分量的重構(gòu)以實(shí)現(xiàn)高精度預(yù)測。

2.2 數(shù)據(jù)預(yù)處理與分解

原始時間序列數(shù)據(jù)被輸入到 CEEMDAN 算法中進(jìn)行分解。CEEMDAN 是一種改進(jìn)的集合經(jīng)驗(yàn)?zāi)B(tài)分解方法，能夠有效地將信號分解為若干固有模態(tài)函數(shù)（IMFs），這些 IMFs 各自代表不同頻率的信號成分。

樣本熵是一種用于衡量序列復(fù)雜度的方法，可以通過計算序列中的不確定性來評估其復(fù)雜性。樣本熵越高，表示序列的復(fù)雜度越大。依據(jù)每個分量的頻率特性和復(fù)雜程度，將其分類為高頻復(fù)雜分量和低頻簡單分量

2.3 高頻復(fù)雜分量預(yù)測

• Informer：擅長處理長時間序列，能夠并行計算，提高了計算效率和預(yù)測性能。Informer在Transformer的基礎(chǔ)上進(jìn)行了改進(jìn)，使其更適合時序數(shù)據(jù)，特別是具有長時間依賴的序列數(shù)據(jù)。
• LSTM：在捕捉序列數(shù)據(jù)的短期和長期依賴性方面表現(xiàn)出色，能夠很好地處理序列數(shù)據(jù)中的時序關(guān)系。

通過將這兩種模型并行使用，可以更好地捕捉不同時間尺度上的模式，提高預(yù)測的準(zhǔn)確性和魯棒性。

2.4 低頻復(fù)雜分量預(yù)測

利用 XGBoost 進(jìn)行建模。XGBoost 以其快速的訓(xùn)練速度和強(qiáng)大的泛化能力，能夠在低頻特征上提供穩(wěn)定的預(yù)測性能。

2.5 預(yù)測結(jié)果重構(gòu)與評估：

將所有預(yù)測的 IMFs 重新組合，構(gòu)建出完整的預(yù)測信號。這個過程確保了各個分量的預(yù)測結(jié)果被整合為一個整體，保持了原始信號的結(jié)構(gòu)和特征。對組合后的預(yù)測結(jié)果進(jìn)行驗(yàn)證，通過與真實(shí)數(shù)據(jù)的比較，評估模型的預(yù)測精度，并根據(jù)反饋進(jìn)行優(yōu)化調(diào)整。

3.數(shù)據(jù)CEEMDAN分解與可視化

3.1 導(dǎo)入數(shù)據(jù)

3.2 CEEMDAN分解

根據(jù)分解結(jié)果看，CEEMDAN一共分解出11個分量，然后通過計算每個分量的樣本熵值進(jìn)行分析。樣本熵是一種用于衡量序列復(fù)雜度的方法，可以通過計算序列中的不確定性來評估其復(fù)雜性。樣本熵越高，表示序列的復(fù)雜度越大。

我們把前6個高樣本熵值復(fù)雜分量作為Informer-LSTM并行模型的輸入進(jìn)行預(yù)測，后5個低樣本熵值簡單分量作為XGBoost模型的輸入進(jìn)行預(yù)測.

3.3 數(shù)據(jù)集制作與預(yù)處理

詳細(xì)介紹見提供的文檔！

4.基于CEEMDAN分解 + Informer-LSTM + XGBoost的組合預(yù)測模型

4.1 定義Informer-LSTM并行預(yù)測網(wǎng)絡(luò)模型

4.2 設(shè)置參數(shù)，訓(xùn)練模型

50個epoch，MSE 為0.000879， Informer-LSTM并行預(yù)測效果顯著，模型能夠充分利用Informer的長時間依賴建模能力和LSTM的短期依賴捕捉能力征，收斂速度快，性能優(yōu)越，預(yù)測精度高，適當(dāng)調(diào)整模型參數(shù)，還可以進(jìn)一步提高模型預(yù)測表現(xiàn)。

4.3 基于XGBoost的模型預(yù)測

數(shù)據(jù)加載，訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)分組，5個分量，劃分5個數(shù)據(jù)集

保存預(yù)測的數(shù)據(jù)，其他分量預(yù)測與上述過程一致，保留最后模型結(jié)果即可。

5.結(jié)果可視化和模型評估

5.1 分量預(yù)測結(jié)果可視化

5.2 組合預(yù)測結(jié)果可視化

5.3 模型評估

由分量預(yù)測結(jié)果可見，前6個復(fù)雜分量在Informer-LSTM并行預(yù)測模型下擬合效果良好，后5個簡單分量在XGBoost模型的預(yù)測下，擬合程度特別好，組合預(yù)測效果顯著！

本文轉(zhuǎn)載自?????建模先鋒??????，作者：小蝸愛建模