多模態融合檢測，工業異常檢測領域新突破！

復旦大學、榮旗工業科技、騰訊優圖實驗室 上海交通大學、上海海洋大學等機構聯合發布高精度多模態數據集Real-IAD D3，并基于此數據集提出了一種創新的多模態融合檢測方法。

相關成果已被計算機視覺頂會CVPR 2025收錄。

在工業生產中，異常檢測是確保產品質量和安全的關鍵環節。然而，現有的異常檢測方法在面對復雜工業環境時，常常因為數據集的局限性而難以達到理想的檢測效果。

為了突破這一瓶頸，研究人員們精心打造了 Real-IAD D3 數據集，它不僅涵蓋了高分辨率的 RGB 圖像，還加入了偽 3D 光度立體圖像和微米級精度的 3D 點云數據，為異常檢測提供了更豐富的信息。

多模態融合：Real-IAD D3 的創新之處

Real-IAD D3數據集的靈感來源于實際的工業質檢場景。在真實的工業生產中，質檢人員需要快速、準確地識別出產品表面的各種缺陷，如劃痕、凹陷、裂縫等。這些缺陷不僅種類繁多，而且在不同的光照和材質背景下，其表現形式也各不相同。傳統的2D圖像檢測方法在面對這些復雜的缺陷時，往往因為缺乏深度信息而難以準確識別；而現有的3D檢測方法雖然能夠提供一定的深度信息，但在細節捕捉上仍然存在不足。

為了更好地模擬實際的工業質檢場景，研究人員們設計了Real-IAD D3數據集。該數據集包含了20個工業產品類別、69種缺陷類型，共計8450個樣本，其中正常樣本5000個，異常樣本3450個。每個樣本都包含了同步的RGB圖像、偽3D光度立體圖像以及微米級精度的3D點云數據。與現有的MVTec 3D-AD和Real3D-AD數據集相比，Real-IAD D3在數據規模、缺陷多樣性以及點云精度等方面都有顯著提升。例如，其點云精度達到了0.002毫米，遠高于MVTec 3D-AD的0.11毫米和Real3D-AD的0.011毫米至0.015毫米。

圖片

基于Real-IAD D3數據集，研究人員提出了一種多模態融合檢測方法D3M。該方法通過整合RGB、點云和偽3D深度信息，充分發揮各模態的優勢，提升了異常檢測的性能。實驗結果顯示，D3M方法在圖像級和像素級異常檢測指標上均優于單模態和雙模態方法，證明了多模態融合在工業異常檢測中的重要性。

實驗結果：多模態融合的優勢

下表展示了不同模態組合在異常檢測中的性能對比?？梢钥吹剑珼3M方法通過整合2D、偽3D和3D數據，取得了最高的檢測精度。

圖片

更多可視化效果也印證了這一點，D3M 方法生成的分割圖在細節和準確性上都優于其他方法。

圖片

小結一下，這項研究提出了一種用于工業異常檢測的多模態數據集Real-IAD D3和基于此數據集的多模態融合檢測方法D3M。該數據集通過整合RGB、偽3D和3D數據，為異常檢測提供了更豐富的信息，顯著提升了檢測性能。

團隊表示，該研究將推動工業異常檢測領域的發展，為工業制造中的質量控制提供更可靠的解決方案。

One More Thing

本研究是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大規模工業異常檢測數據集也被CVPR2024收錄。

圖片

具體貢獻如下：

• 提出了一個新的Real-IAD數據集，它比現有的主流數據集大十倍以上。它包括30類對象，每類對象包含5個拍攝角度，共計150K高分辨率圖像。
• Real-IAD具有更大的缺陷面積和缺陷比例范圍，能夠更好地區分不同方法的性能，滿足IAD的各種研究設置。基于Real-IAD數據集構建了一個更接近實際應用場景的FUIAD（Fully Unsupervised Industry Anomaly Detection）設置，其中僅使用大多數生產線的成品率大于60%的自然存在約束，而不引入額外的手動注釋。
• 報告了常用的IAD方法在Real-IAD數據集上在幾種設置下的性能，并提供了一個極具挑戰性的基準，以促進異常檢測領域的發展。

數據集申請鏈接：https://realiad4ad.github.io/Real-IAD_D3/
論文鏈接：https://openaccess.thecvf.com/content/CVPR2025/html/Zhu_Real-IAD_D3_A_Real-World_2DPseudo-3D3D_Dataset_for_Industrial_Anomaly_Detection_CVPR_2025_paper.html
Real-IAD項目主頁：https://realiad4ad.github.io/Real-IAD/