高級數據分析常見的五種挑戰
我們經常聽到高級分析的成功案例。人們對人工智能的期望很高——據預測人工智能和人工智能的年經濟價值將在9.5萬億到15.4萬億美元之間——因此,只要有可能,許多人都想把目光聚焦在數據分析技術的發展上。
然而,實踐者們都非常清楚,高級分析并不都是成功的。對于每一個令人印象深刻的案例研究或令人興奮的頭條新聞,都有幾十個項目未能發揮其潛力。高級分析項目的探索性、反直覺性和技術性通常是每個項目面臨挑戰的原因。這些失敗的背后還有什么原因呢?
在過去的幾個月里,我們回顧了自己的經驗,并與多個行業的高級分析領導者和實踐者討論了分析項目失敗的原因。以下五種跨領域的障礙與行業無關,它們是項目需要克服的共同主題,以便充分發揮潛力。
1. 問題定義不明確的挑戰
糟糕的問題定義是分析團隊面臨的重大挑戰。將一個組織面臨的廣泛挑戰分解為可解決的部分通常是非常困難的,而評估哪些部分在解決后將產生最大的影響則更加困難。
那么,當分析項目專注于錯誤的問題——或者至少是正確問題的錯誤方面時,它們的后果是什么?當這個問題出現時,項目最終會:
- 沒有解決明確的業務需求
- 與整體業務戰略不一致
- 缺乏實現投資回報的明確途徑
- 與企業成功的真正驅動力脫節
- 專注于有趣的事情,而不是產生最大影響的事情
2. 數據質量低、不一致或缺失的挑戰
任何模型的強大程度都取決于它所依賴的數據。然而,獲取正確的數據而且足夠多可能會很困難。在以上情況下可能會發生:
- 所需數據不存在
- 數據質量不足以繼續進行項目
- 項目團隊無權訪問必要的數據
- 數據訪問成本太高
- 數據工程太昂貴或太耗時而無法使數據可用
3. 執行中技術方法與問題不一致的挑戰
不幸的是,確定正確的業務問題供分析解決并擁有解決問題所需的數據不足以構建交付業務成果的模型。即使前兩個步驟正確,團隊也可能由于以下原因無法完成工作模型:
- 在整個過程中缺乏適當的技術人才或領域專家
- 過度規劃項目并試圖一次實現太多目標
- 在開發解決方案時使用了錯誤的技術、算法或方法
- 沒有建立足夠準確的模型來進行預測
- 可用資源不足,無法達到產生影響所需的質量或范圍
- 該項目的交付時間比預期的要長,并且沒有足夠的預算來完成模型
4.未能考慮到人為因素的挑戰
即使交付了一個工作模型,如果目標用戶不采用它,或者沒有集成到現有的技術或業務流程中,它仍然可能會失敗。雖然技術集成會帶來問題,但用戶采用是分析項目失敗的更大原因。最好的數據科學和結構最完善的模型如果不容易使用和部署以增強人類決策,那么它們將產生很小的影響。在以下情況下會出現采用和可用性失敗:
- 目標用戶沒有參與或積極拒絕采取干預措施
- 操作程序和激勵措施不鼓勵用戶將模型納入他們的持續行為中
- 模型的交互或界面太難使用
- 該解決方案不容易集成到現有技術堆棧、當前基礎架構或組織缺乏必要的數據倉庫、云處理和存儲等能力
5. “一次性”陷阱的挑戰
雖然一種模式在最初被采用時可能會蓬勃發展,但如果長期被拋棄,可能是由于缺乏內部支持,或者是由于在建立它的組織發生重大變化后沒有適應。
- 未能調整模型以適應組織需求、業務戰略或目標的變化
- 由于環境、模式或行為的變化,模型性能隨時間惡化
- 沒有足夠的技術支持來調整數據管道中的問題、源系統或 API 的更改等。
- 缺乏長期采用,最終用戶回滾到舊的工作方式,創建新的解決方法或使用次優系統
雖然不同的組織處于其數據分析過程的不同階段,但我們已經看到整個高級分析行業的整體成熟度不斷提高。技術人才、適當數據的可訪問性和模型概念背后的思想通常最初是合理的,因此導致問題、數據和執行失敗模式的因素通常比兩年前更普遍。上面強調的問題四和問題五代表了許多高級分析項目的最新瓶頸,很大程度上取決于用戶的采用。僅靠數據科學無法解決這個問題。根據經驗,以人為本的設計,超越界面和數據可視化,在消除這一瓶頸和確保分析項目發揮其全部影響方面發揮著不可或缺的作用。
從項目一開始就集成設計,早在問題定義階段,就可以更早地開始變更管理過程,并在許多導致失敗的問題之前進行處理。考慮未滿足的需求,并盡早發現潛在的用戶問題。正如一位經驗豐富的分析高管所說,“分析的50%影響在于你的模式有多好,另外50%則是用戶接受度。兩者缺一不可,不會給你帶來任何有價值的東西。”