人工智能(AI)技術如今正在廣泛應用。人工智能治理之所以重要，是因為人工智能可以獲得更大的回報，但面臨很高的風險，如果做錯其后果會非常嚴重。

[[348667]]

組織必須從風險管理的角度進行治理。人工智能的主要風險因素包括以下幾個方面：

• 可以防止人工智能侵犯人們的隱私嗎?
• 能否消除人工智能驅動的應用程序中可能產生的社會和經濟偏見?
• 能否確保人工智能驅動的過程對于人們完全透明、可解釋和可理解?
• 是否可以設計人工智能算法，以便始終清楚地表明人類對其算法結果的責任和義務?
• 是否可以將道德和道德原則納入人工智能算法中，以便它們將人類的全部考慮因素權衡可能會導致生死攸關的決定?
• 是否可以自動使人工智能應用程序與利益相關者的價值觀保持一致，或者至少在特殊情況下獲得抵御的能力，從而防止惡意機器人在自主決策場景中出現?
• 在不確定性太大而無法證明自主行動正當性的情況下，能否遏制人工智能驅動的決策?
• 是否可以制定故障保護程序，以便當人工智能自動化應用程序達到其能力極限時，人類可以收回控制權?
• 即使需要動態適應不斷變化的環境，能否確保人工智能驅動的應用程序以一致、可預測的方式運行，而沒有意外的副作用?
• 能否保護人工智能應用程序免受旨在利用其底層統計算法漏洞的敵對攻擊?
• 當環境數據與受過訓練的環境有很大出入時，是否可以設計優雅地而不是災難性地失敗的人工智能算法?

基于軟件的流水線自動化的人工智能治理

如果在基于軟件的開發和運營(DevOps)流程中沒有適當地控制適當的控件，那么人工智能治理將毫無用處。

人工智能應用程序是由數據科學家、數據工程師、數據管理員和其他人組成的團隊在復雜的工作流程中構建、培訓、部署和管理的。為了滿足這一需求，許多組織正在將人工智能治理控制構建到其MLOps過程中。本質上，這需要策略驅動的流程自動化，這些流程管理數據、統計模型、元數據，以及用于構建、培訓和部署人工智能應用程序的其他構件。它還需要工具來監視人工智能應用程序在其生命周期中的使用、行為和結果。

任何人工智能驅動過程的典型風險是不知道組織是否可以信任一個已部署的統計模型來準確可靠地完成分配的任務。如果一個統計模型的預測適合度下降到無法完成其指定任務(如識別人臉、理解人類語言或預測客戶行為)的程度，那么對于構建和部署它的組織來說，這基本上是無用的。

因此，人工智能治理的核心功能是模型保證。這是一種確定人工智能應用程序的機器學習模型是否能夠預測適合其分配任務的能力，如果不適合，則將其重新放回原處。

然而，預測精度可能是一個難以保證的性能指標。人工智能的統計模型通常以人工神經網絡的形式實現，可能是如此的復雜和神秘，以至于它們掩蓋了它們實際上是如何驅動自動推理的。同樣令人擔憂的是，基于統計的應用程序可能會無意中混淆其自動決策可能產生的任何偏見和其他不利后果的責任。此外，這些概率模型可能很少被評估和重新訓練，導致曾經適合特定目的的模型現在已經失去了預測能力。

在MLOps平臺中嵌入人工智能模型保證

將業務押注在人工智能驅動流程上的組織必須考慮，是將模型保證作為其MLOps平臺的一項嵌入式功能，還是從專注于這一令人興奮的利基市場的初創供應商那里獲得。

幸運的是，越來越多的數據科學DevOps環境提供了可靠的模型保證。這些工具的最新一代利用云原生基礎設施來部署和管理穩定的人工智能模型流，并且代碼構建一直到邊緣。商業產品中的主要產品是：

• 谷歌云人工智能平臺提供持續評估等模型質量保證功能，讓數據科學家將模型預測與實際情況標簽進行比較，以獲得持續反饋，并優化模型精度。
• H2O.ai無人駕駛人工智能提供了豐富的模型質量保證功能。它支持分析一個模型是否會對不同的人口群體產生不同的不利結果，即使它的設計并沒有考慮到這種結果。它可以自動監控已部署模型的預測衰減;為A/B測試建立替代模型的基準;以及在需要重新校準、重新培訓和以其他方式維護模型以使其為生產做好準備時向系統管理員發出警報。
• Microsoft Azure機器學習MLOps可以通知機器學習生命周期中的事件并發送警報，例如實驗完成、模型注冊、模型部署和數據漂移檢測。它可以監視機器學習應用程序的模型特定指標，并提供機器學習基礎設施的監視和警報。它還可以根據新數據和其他操作和業務因素自動重新培訓、更新和重新部署模型。
• Amazon SageMaker Model Monitor持續監視AWS Sagemaker云計算服務中的機器學習模型，檢測諸如數據漂移之類的偏差，這些偏差會隨著時間的推移降低模型性能，并警告用戶采取補救措施，例如審核或再培訓模型。可以安排監視作業按常規節奏運行，可以將摘要指標推送到Amazon CloudWatch以設置警報和觸發器以采取糾正措施，并支持Amazon SageMaker支持的多種實例類型。
• Superwise的人工智能保證提供了一個實時平臺，用于監控和維護已部署人工智能模型的準確性。它使涉眾能夠在部署的人工智能模型產生負面業務影響之前發現模型衰退和其他問題。它標記了模型的不精確性，這些誤差源于人工智能模型的數據變化。它還可以捕捉到與模型部署到的業務環境中的變化相關聯的不精確性。它為數據科學團隊提供了前瞻性的建議，以采取人工操作來保持模型的準確性、公正性以及其他方面的適用性。它還可以自動執行一些糾正措施，以防止模型漂移到潛在的次優領域。

結論

雖然人工智能并不是公眾的威脅，但現實情況是，可能會看到更多的司法管轄區加強了這項技術的監管規定。

隨著人們進入20世紀20年代，從最好的和最壞的意義上講，人工智能應用將是最具顛覆性的技術。如果擴散不受監控和控制，則錯誤的人工智能模型將給社會造成嚴重破壞。人工智能的某些風險來自技術特定構造中的設計限制。其他原因可能是由于對實時人工智能應用程序的運行時管理不足。還有其他一些可能是該技術難以理解的機器學習、深度學習和人工智能依賴的其他統計模型的“黑盒”復雜性所固有的。

為了減輕這些風險，組織將越來越多地要求在每個部署場景中對這些模型的性能進行自動化治理。