Hadoop從誕生至今已經十三年了。2006年誕生大數據，2008年成為Apache的***項目，成為國內外互聯網大數據的標準配置之一。長久以來，想要入行大數據開發Hadoop也是必學。最近確對Hadoop哀聲一片，更多喊得是擁抱云計算，摒棄Hadoop。

目前有一個很悲觀的問題，Hadoop正在快速的失去原本屬于它的市場。 

該領域曾經的領頭羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹣跚，過去作為數據寵兒的他們可以籌措到源源不斷的巨額投資，英特爾公司就曾向 Cloudera 注入 7.66 億美元，這僅僅是一輪投資的數額，而有趣的是在去年年底Cloudera 和 Hortonworks 宣布合并，并且公告聲稱這將是“merger of equals(平等的合并)”(也可能是這兩家公司無法獨自存活了)，然鵝MapR 成為了犧牲品，根據 LinkedIn 的數據，在過去兩年中，MapR 公司縮水了 29%，Cloudera的股價一下子暴跌40%。

之前的大數據領域過度炒作，泡沫破滅后歸于現實，Hadoop領頭羊步履蹣跚。MongoDB數據庫越來越受歡迎，與老牌數據庫MySQL和Oracle形成三足鼎立的姿態。與MongoDB相似的Elasticsearch分布式搜索和分析引擎背后的Elastic公司一個季度的收入激增70%，員工人數增加一倍。看到這里就納悶了，MongoDB和Elasticsearch等技術應該是無法撼動Hadoop的，但是現在確發展形式一片大好?

個體開發人員擁抱云

個體假發人員對云的追捧是一個原因。雖然Cloudera、Hortonworks和MapR拼命地從內部部署產品發展而來，來自AWS、微軟Azure和谷歌的云原生方案都共同提供了“完全集成的產品，它們的購置成本更低，擴展起來費用更省。”Hadoop最主要的用途一直是廉價存儲。云存儲變得更便宜，加上S3+ EMR及其他服務的用戶體驗要好上百千倍。顯然，Hadoop可能是傳統專有數據倉庫的出色替代品，但遠不如像基于云的Snowflake這些更現代化的方法那么好。 

“沒有人知道這些 Hadoop 公司到底在做什么”。Hadoop 供應商爭先恐后地為他們的 Hadoop 產品添加各種開源插件(Impala、Pig、Hive、Flume)，發明“解決方案技術棧”，讓Hadoop產品更加的繁瑣和累贅，成本也越來越高。對比上云，MongoDB與Elasticsearch也是因為它們既能解決了Hadoop相同的問題，使用還比Hadoop簡單，簡單直接的方案和低廉的成本更適合個體開發人員。

如今，Cloudera 在其網站首頁以粗體字寫著：“我們為任何數據提供企業數據云，從 Edge 到 AI ”(We deliver an Enterprise Data Cloud for any data, anywhere, from the Edge to AI)。不再是 Hadoop 和 CDH，不再是大數據。現在他們做企業云和人工智能。Hadoop現在真的很糟糕嗎?并沒有，Hadoop的過去十年是被炒的火熱的技術，非常多的企業在購買這個技術，甚至是一些創業公司也在購買并使用這個技術，“大數據”的炒作和泡沫告訴各個企業，Facebook、LinkedIn、Google這些企業的成功是可以復制的，利用好大數據的力量你也可以達到這樣的規模，變得一樣成功。總之，“大數據”在銷售的不是技術，而是在把IT巨頭的成功賣給這些傳統企業和創業公司。

一個十年的結束，一個十年的開始。 

大數據前十年處于一個飛速發展的時期，但是并不代表有些什么新的技術突破可以取代掉“大數據”，Hadoop依然是一種可行的技術，它的時代并沒有結束，真正結束的是“大數據”炒作的時代結束了。現在的熱門趨勢是AI和機器學習，它們講再次循環一個十年，營銷人員不斷的推銷新軟件，還是以IT巨頭為代表，讓傳統行業為其買單，吹起下一個科技泡沫。而接下來的十年Hadoop該何去何從?它還值得你學習嗎?

Hadoop的時代并沒有結束

個體用戶會繼續追求簡單直接和低成本，大量的需求會出現越來越多的云廠商，這對Hadoop發展很不利，未來將面臨更多的挑戰。

很多企業的數據是遠遠談不上大數據的范疇的。但是企業只要還在運營，就一定能產生數據，運營的時間越長久，規模越大就一定會遇到“大數據問題”，這是種必然的現象。大數據技術現在只有脫下光鮮亮麗的外衣，脫離聚光燈的照射慢慢沉淀，才會有更多機會的發展，Hadoop技術始終還是值得你學習的。