今天給大家介紹一篇MIT上周發(fā)表的文章，使用GPT-3.5-turbo解決時間序列異常檢測問題，初步驗證了LLM在時間序列異常檢測中的有效性。整個過程沒有進行finetune，直接使用GPT-3.5-turbo進行異常檢測，文中的核心是如何將時間序列轉換成GPT-3.5-turbo可識別的輸入，以及如何設計prompt或者pipeline讓LLM解決異常檢測任務。下面給大家詳細介紹一下這篇工作。

論文標題：Large language models can be zero-shot anomaly detectors for time series?

下載地址：??https://arxiv.org/pdf/2405.14755v1??

1.整體介紹

MIT的這篇文章，基于LLM（如GPT-3.5-turbo、MISTRAL等）進行時間序列異常檢測。核心在于pipeline的設計，主要分為兩個部分。

時序數(shù)據(jù)處理：通過離散化等方法，將原始的時間序列轉換成LLM可理解的輸入；

異常檢測Pipeline：設計了兩種基于LLM的異常檢測pipeline，一種是基于prompt的方法，問大模型異常位置，大模型給出異常位置的index；另一種是基于預測的方法，讓大模型進行時間序列預測，根據(jù)預測值和真實值的差距進行異常定位。

2.時序數(shù)據(jù)處理

為了讓時間序列適配LLM輸入，文中將時間序列轉換成數(shù)字，由數(shù)字作為LLM的輸入。這里的核心是如何用最短的長度來保留盡量多原始的時間序列信息。

首先，將原始時間序列統(tǒng)一減去最小值，防止負值的出現(xiàn)，負值的-號會占用一個token。同時，將數(shù)值的小數(shù)點統(tǒng)一后移，并且每個數(shù)值都保留到固定位數(shù)（如小數(shù)點后3位）。由于GPT對輸入的最長長度有限制，因此文中采用了一種動態(tài)窗口的策略，將原始序列分成有重疊的子序列，以此輸入大模型中。

此外，由于不同LLM的tokenizer不同，為了防止數(shù)字沒有被完全切分開，文中在每個數(shù)字中間都加一個空格進行強行區(qū)分。后續(xù)的效果驗證中，也表明加空格的方法要優(yōu)于不加空格的。下面例子為處理結果：

不同的數(shù)據(jù)處理方式，用于不同的大模型，會產生不同的結果，如下圖所示。

3.異常檢測Pipeline

文中提出了兩種基于LLM的異常檢測pipeline，第一種是PROMPTER，將異常檢測問題轉換成prompt輸入大模型，讓模型直接給出答案；另一種是DETECTOR，讓大模型進行時間序列預測，然后通過預測結果和真實值的差異判斷異常點。

PROMPTER：下表是文中進行prompt迭代的過程，從最簡單的prompt開始，不斷發(fā)現(xiàn)LLM給出結果的問題，并完善prompt，經過5個版本的迭代形成了最終的prompt。使用這個prompt，可以讓模型直接輸出異常位置的索引信息。

DETECTOR：之前已經有很多工作用大模型進行時間序列預測。文中經過處理的時間序列，可以直接讓大模型生成預測結果。將不同窗口生成的多個結果，取中位數(shù)，然后根據(jù)預測結果和真實結果的差距，作為異常檢測的判別依據(jù)。

4.實驗結果

文中通過實驗對比發(fā)現(xiàn)，基于大模型的異常檢測方法，可以由于基于Transformer的異常檢測模型，效果提升12.5%。AER（AER: Auto-Encoder with Regression for Time Series Anomaly Detection）是效果最好的基于深度學習的異常檢測方法目前仍然比基于LLM的方法效果好30%。此外，基于DIRECTOR這種pipeline的方法要優(yōu)于基于PROMTER的方法。

此外，文中也可視化了大模型的異常檢測過程，如下圖。

本文轉載自 ??圓圓的算法筆記??，作者： Fareise