Error Analysis 使用機器學習技術，助數據科學家更好地了解模型錯誤模式。

在 2020 年 5 月的微軟 Build 大會上，微軟推出了三個響應式的 AI(Responsible AI，RAI)工具包，這三個工具分別是 InterpretML、Fairlearn 和 SmartNoise。這些工具包與微軟 Azure 機器學習緊密集成，通過這些工具可以使機器學習領域的數據科學家能夠理解模型預測、評估公平性并保護敏感數據。

在這個工具系列的基礎上，微軟宣布推出新的功能，通過新的 Error Analysis 工具包調試模型中的不準確之處，并在 SmartNoise 中使用合成數據提升隱私性。

使用 Error Analysis 識別和診斷模型的不精確性

在分析機器學習模型時，我們常常關注精度等總體指標。 然而，模型的準確率在不同的數據子群中往往并不統一，某些輸入條件的交叉點會導致模型更頻繁地失敗。為了提高精度，我們需要挖掘和評估這些不同的錯誤來源。從歷史上看，解決這些問題需要手動操作，并且十分耗時。

Error Analysis，這是微軟響應式 AI 工具包中的最新成員，并且完全開源。Error Analysis 使用機器學習按照有意義的維度對模型錯誤進行分區，以幫助開發者更好地理解錯誤中的模式。此舉可以能夠快速識別出誤差較高的子群，并直觀地診斷出這些錯誤背后的根本原因。

雖然這是一個剛剛才開源的工具，但 Error Analysis 在微軟 AI 開發中卻扮演著舉足輕重的作用。Error Analysis 在 2018 年開始作為一個研究項目，在 2019 年就與微軟混合現實團隊密切合作，使該工具成為內部 AI 基礎設施的一部分。開源版本能夠實現是由 Azure 機器學習中的 RAI 工具團隊推動的。Error Analysis 連同其他 RAI 工具包也將在 2021 年中期歸入 OSS 和 Azure 機器學習中。

本文轉自OSCHINA

本文標題：微軟開源 AI 診斷工具 Error Analysis

本文地址：https://www.oschina.net/news/131059/enabling-responsible-ai-with-new-open-source-capabilities