大數據潛能系列之七:當Hadoop發展成熟
第一次聽說Hadoop 是在幾年前。當時是在舊金山參加Teradata的用戶活動,會上很多來自硅谷的技術和以數據為中心的公司積極交流、分享觀點。Informatica與Teradata在保險業的共同客戶問Teradata的一位數據庫行業的資深人士:“你能告訴我更多關于Hadoop的信息嗎?我們如何讓它有意義?它可以替代傳統數據庫系統嗎?這種技術能讓我們在過去幾年中的投資增值嗎?”
當時,很多人認為Hadoop只是一種硅谷現象,進入廣泛采用還為時過早,只有少數公司把Hadoop作為其主要的大數據處理技術。我把這位專家拉到一邊悄悄地問:“有哪些Hadoop的消息?我們對它到底需要投入多大的注意力?”這位專家說:“Hadoop目前的成熟度大概類似于7-8歲的Joe Montana(著名的美式足球運動員),具有成為頂尖運動員的特質。”我們應該用心關注這個技術,密切了解它在未來幾年中將如何發展。
轉眼到了2011年,已越來越多的機構把Hadoop納入其IT基礎架構,用于進行以前難以實現的或成本效益很低的分析,以及用于存儲更多的數據——因此,他們現在可以對更大的數據集進行數據挖掘和其他用途,而不用丟棄數據。Hadoop及其子項目和相關的組件已經被開源社區進行了快速的發展。與此同時,基于真實世界的部署,我們正在進一步了解Hadoop的好處和可能的好處。很重要的一點是,現在已經有很多機構更加以數據為中心,因此,我們擁有多個來自Hadoop和其他數據處理平臺的新業務需求的前進目標和技術演進方向。
有一點是明確的,對大多數公司來說,Hadoop在企業中是對其他數據技術的補充,而不是替代,因為這種方式可以讓企業既能用Hadoop也能用數據基礎架構的其他部分來應對大數據,兩全其美。Hadoop正在發展,并將繼續演進。當Hadoop發展成熟時將會是怎樣?