AI熱潮下,董事會和CEO必須能夠全面洞悉AI
AI已經成為我們日常生活的一部分,這一點你無法否認。幾乎來自所有不同行業的財富1000強企業領導者,都在積極開展AI計劃。大中型全球企業都在加速創新,利用AI的誘人前景提高收入、增加利潤、并在產品和服務產品中發現新的價值。
盡管AI的發展迅速,但董事會和CEO們在AI語言素養和風險管理實踐方面仍然遠遠落后。AI的崛起就像是一場暴風雨,一場完美的風暴可能正在醞釀之中,但很少有董事會和CEO能回答這個問題:你的AI算法和AI模型位于何處,AI算法或者模型是否存在風險?
AI的發展是迅猛的:2020年7月初發布的最新全球研究報告指出,AI市場的復合年增長率超過42%,在美國AI市場規模超過7337億美元。根據麻省理工學院斯隆研究中心(MIT Sloan Research)的說法,超過90%的大型企業正在利用AI改善他們的客戶交互旅程。AI創業投資的增長讓人想起了互聯網時代的牛市,但你可能還記得,2002年3月牛市下跌了76%,這喚醒了人們對價值實現和盈利能力重要性的覺醒。
根據CBI Insights的數據,2019年AI初創公司總共募集了266億美金,涉及全球2200多筆交易,盡管遭遇了疫情,但醫療應急和智能機器、醫療機器人等變革性技術,正在迅速興起成為幫助應對疫情的AI解決方案。
平均而言,到2022年,高級分析方面的投資將超過整體市場預算的11%。隨著企業組織將AI和機器學習工具納入他們的業務流程,到2025年,AI軟件相關支出將達到1250億美元。
你可能會認為,董事會和CEO們可以輕松地了解他們所有的AI算法和AI模型位于何處,非常清楚各種風險狀況,并且能夠通過清晰的KPI和ROI來證明價值的實現。
遺憾的是,很多企業被采用黑盒AI實踐的AI計劃吸引,這就意味著沒有清晰的問責制,是不透明的,更不用說審計風險了。董事會董事和CEO們知道他們的員工身處何方(無論是遠程辦公還是在辦公室),知道應該聯系誰來解決客戶服務或個人問題。
但是,恐怕沒有一家跨國企業的董事會或者CEO可以在不到五分鐘的時間內,拿出一份該企業所有AI算法或者AI模型資產的完整列表,也不知道上一次修訂模型是在什么時候,給不出可靠的、經過第三方驗證的風險分類證據。
隨著數據的民主化逐漸成為實現AI的基礎,我們必須提高AI和機器學習的相關KPI,讓AI KPI比財務KPI更加重要,從而提高透明度,就像審計師受到損益表信托責任制的約束一樣。世界正在發生巨變,數據已經成為我們最具戰略意義的資產,但是鮮有企業成為數據管理實踐的標桿,他們不知道數據是在哪里設計、收集和存儲的以實現和跟蹤AI轉型所能帶來的價值。
盡管有不少企業已經投資了機器學習運營(MLOps),但很少有企業擁有成熟的AI卓越中心,其中,MLOps是一項核心能力。New Relic最近一項研究發現,受訪的750位全球高級IT決策者中,有89%的人認為,AI和機器學習對于企業組織的IT運營至關重要。有近84%的受訪者認為,AI和機器學習將讓他們的職責變得更易于管理。這一樂觀的預測,將加速數據管理實踐的不斷完善,而這正是AI建模和風險管理實踐的關鍵。
筆者在過去18個月中對超過500位全球大型B2B企業C級高管的交流中發現,沒有一家企業可以在5分鐘時間內回答大多數以下問題。
要保持領先地位,就要恰當地提出各種AI相關的問題,每一個使用AI算法構建定制化AI模型以解決特定問題或業務挑戰的項目,都應能夠回答以下這些問題:
使用場景歷史
- AI模型/算法用于什么用途?
- AI模型/算法解決了哪些業務問題或者挑戰?
- 在設計、構建和實施各種用例之前,企業最初估算的AI模型和AI方法ROI是多少?
AI模型所有權歷史
- 誰編寫了算法或者開發了AI模型?
- 流程負責人目前還在該企業嗎?
- 考慮到AI模型和算法方法的風險,AI模型是否有二級流程負責人?
- 算法和模型結構是否經過了創建者之外其他人的審核?審核者是誰?
創建和修訂歷史
- AI模型或者AI算法是何時構建的?
- 自第一次用于生產環境中以來,對AI模型或AI算法進行了多少次修訂?
- 正在使用哪種類型的AI算法?
- 該算法是開源的嗎?還是有人編寫了獨特的AI算法來解決獨有的業務挑戰?
AI算法或模型方法歷史
- AI算法的數學結構或數學公式是什么?
- 這些是否經過了第三方專家對準確性的驗證?
- 負責監督正在使用中的AI算法模型的負責人?
- AI模型開發的數據類型(結構化/非結構化數據)和數據源(內部、外部、兩者兼有)是什么?
- 數據集有多大?
- 在被分析之前,數據集是否經過了清洗?如果是的話,是誰清洗的,使用了什么方法?
- AI模型中使用的數據源,質量和準確性怎么樣?
- 與所有版本的歷史記錄相比,預測準確性的基準得分是多少?
- AI模型和AI算法是否有風險分類,是否制定了風險緩解計劃?
- 開發的AI模型是否經過了數據偏差測試?
- 使用了哪些數據偏差方法?
- 進行了幾種數據偏差風險評估?
- 上一次審查和優化/重新訓練AI模型是在什么時候?
AI算法或模型的價值實現
- 就投資回報率而言,AI模型能給企業組織帶來什么價值?
- 是否有效率或者效果值能夠清晰定義ROI?
- 第一個用例的ROI/價值結果預測,與實際AI產生的ROI結果相差多少?
- AI價值結果是否已經經過了財務或者第三方專家的驗證、審核或簽署?如果是的話,是否已經提交了報告?
- 這種AI模型方法與其他行業最佳實踐相比如何?
- 是否有針對AI模型或文件的有效流程改進計劃?
盡管還有很多其他問題,但要監督AI卓越中心來跟蹤AI模型的演進發展,董事會和CEO們可以從年度審計風險評估和治理運營流程開始著手。
遺憾的是,多數情況下AI模型都是由數據科學家、計算機程序員或者專業服務公司(第三方供廠商)開發的,他們都致力于構建一個特定的AI模型,不管是預測美國熱點區域第二波疫情情況,還是使用AI無人機預測害蟲給收獲季帶來的影響,還是預測收入,以及確保AI方法的潛在風險管理實踐,在大多數情況下,設計和構建AI模型的參與者都是用心良苦的。
董事會和CEO們必須意識到,AI素養是他們發展和培養人才所需的一種新能力。AI模型需要不斷優化才能成功用于生產環境,而對數據管理基礎設施進行現代化投資,是確保數據和機器學習與時俱進的關鍵。如果管理層不監控AI模型的生產環境,對模型進行再訓練,并且隨著時間的推移增加其他數據源以加強模型洞察的話,他們就會犯錯。
AI就像是建造一座花園,施肥和除草是收獲美麗的一項長期投資。AI不是雕塑,你不能構建一個模型然后未來幾年一直保持它的原始狀態不變。有人說AI是一種新型石油,而我更愿意說AI是一種新型氧氣,因為AI越來越普及,像氣候變化一樣,潮起潮落無處不在。你想要能夠洞悉花園中的一切生長狀態,就需要卓越的遠見才能做出明智的規劃。
對于董事會和CEO們來說,遺憾的是很多技術負責人或者CIO并不擅長AI和數據科學實踐,這進一步提高了實施AI的企業所面臨的風險。首席數據官(CDO)和首席數據科學家官(CDSO)的興起,推動了AI進化、模型構建、風險管理實踐的發展,盡管大多數公司在數據支持系統方面的投資,不得不和保護算法和AI模型安全性方面的投資節奏保持一致。
董事會和CEO們有責任確保AI審核和風險管理框架得到合理實施,推進AI治理的向前邁進。