Hadoop是一個(gè)開源軟件框架，它在近十年前開始流行。ApacheHadoop在當(dāng)時(shí)是一項(xiàng)突破性的創(chuàng)新，企業(yè)在處理大量數(shù)據(jù)時(shí)遇到了存儲(chǔ)問題。它通過提供Hadoop分布式文件系統(tǒng)(HDFS)進(jìn)行存儲(chǔ)和MapReduce進(jìn)行數(shù)據(jù)分析和處理，重新定義了企業(yè)處理、分析和存儲(chǔ)數(shù)據(jù)的方式。據(jù)公關(guān)通訊社報(bào)道，到2012年，財(cái)富50強(qiáng)中超過一半的公司采用了Hadoop。

Cloudera在2008年成為第一家致力于Hadoop的公司，MapR和Hortonworks緊隨其后。Hadoop技術(shù)成為財(cái)富500強(qiáng)公司的最愛，然而他們卻宣布放棄這項(xiàng)技術(shù)。在經(jīng)歷了這樣一段開拓性的旅程并受到如此多的崇拜之后，為什么Hadoop今天會(huì)經(jīng)歷相當(dāng)大的衰退呢?

導(dǎo)致崩潰的變化

云的出現(xiàn)在Hadoop采用率的下降中扮演著關(guān)鍵的角色。2018年，Twitter宣布遷移至谷歌云，以提高生產(chǎn)力并滿足其不斷增長(zhǎng)的需求。此外，他們還表示，他們的Hadoop文件系統(tǒng)存儲(chǔ)了超過300PB的數(shù)據(jù)，他們正在將Hadoop計(jì)算系統(tǒng)轉(zhuǎn)移到Google云上。

自從云服務(wù)普及以來，這不是一個(gè)孤立的案例，許多公司決定轉(zhuǎn)向云，以獲得更好的大數(shù)據(jù)解決方案和高級(jí)數(shù)據(jù)分析。下一個(gè)路徑，一家自動(dòng)化云遷移公司最近宣布了Crawler360的增強(qiáng)功能和移位™，他們的兩種遷移技術(shù)，可以輕松快速地從Hadoop遷移到所需的云平臺(tái)。

NextPathway的首席戰(zhàn)略官Vinay Mathur在接受采訪時(shí)說：“我們承諾會(huì)比最終得到的更多。隨著數(shù)據(jù)量和分析要求的復(fù)雜性增加，它根本就不起作用了。”根據(jù)下一份平臺(tái)報(bào)告，他們與財(cái)富500強(qiáng)中的高端公司的對(duì)話使他們意識(shí)到，他們正在對(duì)Hadoop失去興趣。

與經(jīng)常因維護(hù)費(fèi)用而受到指責(zé)的本地Hadoop技術(shù)相比，云技術(shù)承諾了可擴(kuò)展和高效的大數(shù)據(jù)處理。它也不能很好地處理迭代數(shù)據(jù)，對(duì)于大量的小數(shù)據(jù)集，它通常被標(biāo)記為低效的解決方案。對(duì)實(shí)時(shí)數(shù)據(jù)分析的不斷增長(zhǎng)的需求也導(dǎo)致了人們對(duì)Hadoop興趣的下降。

很多時(shí)候，運(yùn)營(yíng)商將大量非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)到分布式文件系統(tǒng)中，這會(huì)增加交付解決方案的復(fù)雜性。云計(jì)算減少了混亂，同時(shí)它還提供了一個(gè)可擴(kuò)展的經(jīng)濟(jì)高效的平臺(tái)。

Hadoop死了嗎?

沒有人應(yīng)該那么悲觀。像Hadoop這樣的技術(shù)可能會(huì)發(fā)展，但不會(huì)完全消失。AlliedMarketResearch公司的報(bào)告顯示，到2027年，全球Hadoop市場(chǎng)預(yù)計(jì)將達(dá)到3403.5億美元，而2019年為267.4億美元，2020-2027年復(fù)合年增長(zhǎng)率為37.5%。這不矛盾嗎?Hadoop可能正在經(jīng)歷一場(chǎng)中年危機(jī)，最終可能導(dǎo)致技術(shù)更加成熟。

盡管Hadoop的采用率可能會(huì)下降，但它不會(huì)消失，因?yàn)槿绻挥糜诜治觯匀豢梢杂糜谪S富的數(shù)據(jù)存儲(chǔ)。未來幾年，企業(yè)可能會(huì)利用基于云的基礎(chǔ)設(shè)施和內(nèi)部基礎(chǔ)設(shè)施，使用混合方法進(jìn)行數(shù)據(jù)存儲(chǔ)和分析。在這里，它將有一個(gè)相當(dāng)大的范圍，因?yàn)樗且粋€(gè)公認(rèn)的技術(shù)，具有成本效益和可擴(kuò)展的數(shù)據(jù)存儲(chǔ)系統(tǒng)。