大數據項目為什么失敗,2017年將有何不同
隨著企業努力在數字時代完全采用數據驅動,生態系統正在發生重大轉變。由于企業應用程序生成數據成為一種趨勢和潮流,收集數據的洞察力變得越來越復雜。
此外,數十億用戶和數萬億連接的物聯網設備在企業外部產生指數級更多的數據。企業部署云計算,移動和分析技術,希望將這些數據轉化為洞察力。然而根據調配機構Gartner預測,2017年將有60%的大數據項目失敗。他們不會超越試驗階段,最終將會放棄。
企業在將數據資產鏈接到戰略價值之間發生了什么脫節?根據專家的經驗,主要是有工作人員缺乏技能或專業知識,以及技術戰略與整體公司需求之間的不匹配這兩個主要障礙。
專業知識的差距
當大數據處于起步階段時,當時可用的技術并不成熟。谷歌,雅虎和Facebook等擁有非常深厚技術底蘊的企業不得不從根本上建立基礎設施來處理這些問題。由于這些公司取得了成功,許多企業試圖用他們自己的基于Hadoop的大數據項目來效仿他們。
從那里,IT和數據專業人員對Hadoop作為一個技術工具包可能做什么,以及對產生結果需要多少精力和資源有著不當的期望。Gartner公司的一項調查發現,49%的受訪者引用“確定如何從Hadoop獲取價值”作為是否采納的關鍵抑制因素。大多數企業缺乏部署這種技術的技能。而具有諷刺意味的是,他們不需要這樣的規模。
大數據已經變得過于依賴于技術。許多大數據項目失敗,是因為它們需要大量的前期資源,并且部署剛性架構,一旦項目進行之后,卻沒有提高靈活性。
一個成功的大數據項目是從對想要解決的業務問題和想要獲得的價值的深刻理解開始的。如果沒有,無論企業達到什么目標,項目將無法達到預期或提供足夠的投資回報率,可能會失敗或取消。
下一個關鍵要素是建立一個團隊,將IT,數據科學和業務線的視角結合在一起。業務專家可以通過數據計劃確定需要解決的主要業務挑戰。IT專家可以提供訪問數據的技能,并精確定位執行項目所需的適當基礎設施。最后,數據專家可以提供分析和提取洞察所需的數學和定量技能。這對于圍繞這些技能建立團隊的項目的成功至關重要。
第三個元素是短時間值(TtV)。一個團隊成立越快,并產生具體和可衡量的價值,就越容易讓組織和高級管理層在這個空間繼續投資,以避免失敗或取消。
大多數基于Hadoop的項目都在這三個方面失敗。項目太過專注技術工作。此外,難以找到足夠技能的人才,并且需要太多的時間和精力來建立基礎設施。最后,初始投資太高,實施時間太長,使得很難快速實驗和迭代成功。
采用更好的方法
隨著企業通過大數據項目工作,我專家看到的一個趨勢是采用基于云計算的數據倉庫和數據湖解決方案作為Hadoop項目的替代品。企業已經開始進行這樣的努力,這將更容易和更快從云計算中獲得價值,而不是在基礎設施建設上投資。正確的云計算解決方案避免了重大的前期資本支出,提供輕松和成本有效的擴展,并以高度管理的解決方案的形式將技術負擔轉移給技術供應商。
專家建議,如果企業沒有內部的經驗和技能,可以建設在云中,并避開廣泛和成本高昂的基礎設施。
2017年將是人們開始遠離Hadoop的一年。人們將看到從大數據的魅力和理想化的概念轉變為更實用和有效的用例。人們期望半結構化數據和機器學習將繼續推動大數據的需求,并且在這些領域擁有專業知識將至關重要。對于企業來說,最終要成功,他們需要明確的商業挑戰來解決,他們必須經歷失敗早期,從小到大的過程。他們應該在過度投資不必要的架構之前探索采用云計算。