LLM破局泛化診斷難題，MSSP刊登北航PHM實驗室健康管理大模型交叉研究
論文作者來自杭州北航國新院、北航，主要作者：陶來發、劉海菲、寧國澳、曹文燕、黃博昊、呂?。ㄍㄓ嵶髡撸?。呂琛教授：國家級領軍人才、英國皇家航空學會會士；陶來發教授：國家級青年人才。
近日，《Mechanical System and Signal Processing》（MSSP）在線發表刊登北航 PHM 團隊最新研究成果：基于大語言模型的軸承故障診斷框架（LLM-based Framework for Bearing Fault Diagnosis）。
- 這是北航 PHM 實驗室在健康管理大模型領域的成功嘗試，研究團隊提出了基于大語言模型的軸承故障診斷框架，提升預訓練大模型對振動數據的解析與泛化能力。
- 以軸承為例，他們探索并打通了基于預訓練大語言模型解決泛化故障診斷難題的技術路線，初步展現了對跨工況、小樣本、跨對象等泛化診斷任務的綜合解決能力。
- 北航 PHM 實驗室為業界學者應對故障診斷領域泛化痛點問題提供了新思路，也是深入開展大模型與健康管理交叉研究并建立健康管理大模型的重要基礎與參考。
- 論文原文：https://doi.org/10.1016/j.ymssp.2024.112127（MSSP 期刊）
- https://arxiv.org/abs/2411.02718（arXiv 預?。?/span>
背景介紹
健康管理（Prognostics and Health Management，PHM）是避免設備故障導致人員安全和經濟財產損失的重要技術手段，而算法模型泛化性不足等瓶頸問題嚴重制約著 PHM 技術的發展應用。作為健康管理的重要環節，傳統故障診斷也面臨著跨工況適應能力、小樣本學習能力和跨對象泛化能力等諸多挑戰。
大語言模型（LLM）通過千億級參數化的先驗知識與深層次的模式識別能力，為提升故障診斷模型的泛化性提供了新的可能性。因此，團隊整合 LLM 與傳統故障診斷技術優勢，以軸承為例探索并打通基于預訓練大語言模型解決泛化故障診斷難題的可能性和技術路線，初步展現了對跨工況、小樣本、跨對象等泛化診斷任務的綜合解決能力。
分別開展了單數據集跨工況實驗和全量及少量樣本的跨數據集遷移實驗，驗證所提出框架同時完成三種泛化故障診斷任務的能力，證明 LLM 對輸入的模式和形式具有良好的適應性。
主要創新及成果
為解決泛化診斷難題，論文提出基于 LLM 的軸承故障診斷框架，創新點主要包括振動數據特征的文本化處理和預訓練模型微調方法。
針對軸承故障診斷中振動數據難以挖掘語義信息的問題，基于傳統故障診斷的統計學分析框架，提出了一種融合時域和頻域特征提取的信號特征量化方法，將時序數據進行文本化處理，旨在通過精簡的特征選擇高效學習小樣本和多工況下的共性特征。
針對 LLM 在解析振動數據特征時泛化能力不足的問題，該團隊采用基于 LoRA 和 QLoRA 的振動數據微調方法，有效利用預訓練模型的深層語義理解能力，提高故障診斷的精確度并增強模型的泛化性能。
針對創新點的實驗驗證。通過單數據集實驗、單數據集跨工況實驗以及全量、少量跨數據集實驗，該團隊證明了所提出框架同時具備跨工況、小樣本、跨數據集故障診斷能力。
研究團隊采用 CWRU、MFPT、JNU、PU 四個軸承故障診斷公開數據集，分別針對基于特征的 LLM 故障診斷和基于數據的 LLM 故障診斷方法進行驗證。
案例實驗驗證了所提出框架在三種泛化任務上的適應性，且經過跨數據集學習的模型同比獲得 10% 左右的精度提升。
未來研究方向
1. 該框架更多地在特征提取和故障模式判別階段將 LLM 與故障診斷相結合，未來可充分利用診斷領域知識和大模型架構知識，實現大模型與裝備故障診斷的深度融合。
2. 論文以軸承為例，探索了預訓練 LLM 解決泛化故障診斷難題新思路。未來可將其作為基礎與參考，特異性設計模型結構，將框架拓展至其他領域對象，如動力、控制系統的電源、功能電路等。
3. 論文以故障診斷為例展示了 LLM 對傳統健康管理手段的擴展能力，未來還可將技術延拓到預測、評估等典型健康管理領域，打通 PHM 開發方案生成、數據生成、能力生成、解決方案生成、驗證評價、方案更新等技術流程，支撐裝備 PHM 設計、診斷、評估、預測、決策、推薦、驗證、更新等下游任務。
4. 論文利用 LLM 的文本處理能力及泛化性能，初步實現了基于預訓練 LLM 的泛化故障診斷功能；未來將在此基礎上，構建以健康管理領域多模態信息為基礎、以 PHM 各種功能需求為主要業務、以生成涌現能力為目標的垂直領域健康管理大模型，實現以通用化、判別式、實戰性為主要特點的健康管理領域新生態及根本性技術轉變（參考 An Outline of Prognostics and Health Management Large Model: Concepts, Paradigms, and Challenges, https://arxiv.org/abs/2407.03374）。
也歡迎關注北航 PHM 團隊提出的健康管理大模型進階研究范式 roadmap！
