清華大學(xué)NeurIPS'24：時(shí)序大模型AutoTimes，結(jié)合In-context Learning提升預(yù)測(cè)效果
今天給大家介紹一篇清華大學(xué)發(fā)表于NIPS2024中的大模型時(shí)間序列預(yù)測(cè)工作AutoTimes，使用大模型進(jìn)行自回歸形式的時(shí)間序列預(yù)測(cè)，并結(jié)合In-Context Learning提升預(yù)測(cè)效果。
論文標(biāo)題：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
下載地址：??https://arxiv.org/pdf/2402.02370??
1.背景
大模型在時(shí)間序列預(yù)測(cè)中的應(yīng)用已經(jīng)有了一些研究工作。之前的大模型時(shí)序預(yù)測(cè)，主要講大模型當(dāng)成一個(gè)表征抽取器，將時(shí)間序列對(duì)齊大模型表征空間后輸入LLM，生成的編碼經(jīng)過(guò)映射得到預(yù)測(cè)結(jié)果。
然而，本文認(rèn)為這種建模方法沒(méi)有充分利用大模型自回歸的能力。因此，本文提出采用自回歸的方式將大模型應(yīng)用到時(shí)間序列預(yù)測(cè)中。并結(jié)合NLP中的prompt、in-context learning等技術(shù)，提升大模型時(shí)序預(yù)測(cè)的效果。
2.實(shí)現(xiàn)方法
本文的建模方法主要可以分為時(shí)序信息處理、大模型預(yù)測(cè)、時(shí)序in-context learning三個(gè)部分。整體的建模流程圖圖所示。
時(shí)序信息處理：LLM輸入時(shí)間序列編碼和位置編碼兩種類型的信息。對(duì)于時(shí)間序列，將其分解成多個(gè)不重疊的segment，每個(gè)segment通過(guò)一個(gè)Embedding層映射成一個(gè)token embedding。對(duì)于每個(gè)時(shí)間步的具體信息，取每個(gè)片段最后一個(gè)時(shí)間戳的文本信息，直接用其對(duì)應(yīng)的LLM文本編碼作為position embedding。每個(gè)片段的序列編碼和位置編碼拼接到一起，作為L(zhǎng)LM的輸入。
大模型預(yù)測(cè)：AutoTime整體建模采用自回歸的方式。時(shí)間序列信息輸入到LLM后，LLM參數(shù)固定不變，生成segment對(duì)應(yīng)的編碼。然后使用一層網(wǎng)絡(luò)，將每個(gè)segment的編碼映射成時(shí)間序列值，使用MSE計(jì)算loss進(jìn)行模型優(yōu)化。訓(xùn)練任務(wù)采用next item prediction的形式，循環(huán)的根據(jù)前面的時(shí)序token預(yù)測(cè)下一個(gè)時(shí)序token，和LLM的優(yōu)化方式對(duì)齊。
時(shí)序In-context Learning：借鑒NLP中的In-context Learning思路，文中在進(jìn)行目標(biāo)數(shù)據(jù)集的預(yù)測(cè)時(shí)，利用源數(shù)據(jù)集中的時(shí)間序列構(gòu)建prompt，拼接到當(dāng)前待預(yù)測(cè)的數(shù)據(jù)中。通過(guò)在源數(shù)據(jù)集中，抽取幾對(duì)歷史序列+未來(lái)序列數(shù)據(jù)，轉(zhuǎn)換成token embedding后，拼接到當(dāng)前樣本前面，作為context信息，幫助大模型對(duì)當(dāng)前樣本的預(yù)測(cè)。
3.實(shí)驗(yàn)效果
文中在短周期時(shí)序預(yù)測(cè)、長(zhǎng)周期時(shí)序預(yù)測(cè)等任務(wù)上都進(jìn)行了實(shí)驗(yàn)，取得了大模型時(shí)序預(yù)測(cè)方法中的最優(yōu)效果，相比傳統(tǒng)的PatchTST等建模方法也有優(yōu)勢(shì)。
文中也進(jìn)一步驗(yàn)證了In-context Learning的效果。相比Zero-shot Learning，In-context Learning在引入例子作為prompt信息后，使得模型的預(yù)測(cè)效果取得了進(jìn)一步提升。
通過(guò)case分析也可以看出，In-context Learning的預(yù)測(cè)結(jié)果更加準(zhǔn)確。
