如今，大數據應用程序比常規應用程序復雜10倍，開發人員通常需要了解大量的技術，以使大數據能夠正常工作。

大數據的應用仍然太難了。盡管有很多的炒作的成分，但大多數企業仍然努力從他們的數據中獲得價值。而Dresner咨詢服務公司得出結論：“盡管長時間的意識培養和炒作，大數據分析的實際部署目前并不廣泛適用于大多數組織。”

[[176815]]

這是人員的問題。盡管有說服力的數據，企業高管們往往寧愿忽略這些數據。但是，大數據復雜性的一大部分是因為所需要的軟件。雖然Spark和其他更新的系統已經改善了軌跡，但大數據基礎設施仍然太難了，這是杰西·安德森精明的一點。

實施起來困難

長期以來，人才一直是大數據采用的***障礙之一。2015年Bain&Co.公司通過對高級IT主管調查發現，59%的受訪者認為他們的公司缺乏對數據和業務有意義的能力。調查機構Gartner公司分析師尼克·荷德科特別指出，“到2018年，由于技能和集成的挑戰，70%的Hadoop部署將無法滿足成本節省和收入目標。”人員的技能很重要，換句話說，相關人才供不應求。

隨著時間的推移，人員的技能差距將會減少，當然，但是了解平均Hadoop部署是不平凡的。安德森指出，大數據的復雜性歸結為兩個主要因素：“你需要掌握10到30種不同的技術，只是為了創建一個大數據解決方案。而采用分布式系統是比較簡單的”。

問題是什么

安德森表示典型的移動應用程序與Hadoop支持的應用程序的復雜性，注意后者涉及“盒子”或組件的數量的兩倍。然而，用簡單的詞語表達，“Hadoop解決方案的'HelloWorld'比其他域中到高級設置更復雜。

安德森說，人們面臨復雜的困難，是需要了解涉及的廣泛的系統。例如，人們可能需要知道10種技術來構建大數據應用程序，但這可能需要熟悉另外20種技術，只需知道在給定情況下使用哪種技術即可。否則，例如，你將如何知道使用MongoDB而不是Hbase?還是Cassandra?或neo4j?

此外，在分布式系統中運行有其復雜性，而大數據的技能短缺依然存在。

簡單的出路

企業正在努力盡量減少在大數據構建中所固有的復雜性的一種方法是轉向公共云。根據最近的Databricks對ApacheSpark用戶的調查，Spark到公共云的部署在過去一年中增長了10%，達到了總體部署的61%。云計算代替了那些繁瑣以及不靈活的內部部署基礎設施，可以提供靈活性。

然而，它并不能消除所涉及的技術的復雜性。關于此或數據庫或消息代理的相同選擇仍然存在。這種選擇，以及其中的復雜性，不會很快消失。像Cloudera和Hortonworks這樣的公司已經嘗試簡化這些選擇，將它們整合到堆棧中，但是它們仍然基本上提供需要被理解以便有用的工具。AmazonWebServices公司通過其Lambda服務進一步發展，這使得開發人員能夠專注于編寫應用程序代碼，而AWS負責所有底層基礎架構。

但下一步是完全為最終用戶預先制作應用程序，這是華爾街分析師彼得·戈德馬克所說的銷售基礎設施組件的更大的機會。用他的話來說，一個主要類別的“獲獎者”是應用和分析供應商，它將基礎技術的復雜性抽象為一個用戶友好的前端。企業用戶的可尋址的受眾將比程序員的市場致力于核心技術。

這是市場需要去的地方，而且是快速的。人們幾乎沒有做過。對于每個能夠掌握所有的相關的大數據技術公司，包括那些高端產業的企業，只是想只是希望重塑自己，需要有人使他們的數據更具可操作性，人們現在需要這類供應商出現。