IT企業利用云計算平臺Hadoop的10種方式
如果你是世界上廣大Hadoop用戶的一員,你肯定知道Google曾經靠著分布式計算技術(Hadoop),在搜索引擎和廣告方面取得了舉世矚目的成就。現在的Hadoop不僅是當年的老二Yahoo的專用產品了,從Hadoop長長的用戶名單中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。國內的公司有淘寶、百度等等。而今天我們要探討的是,Hadoop 作為基礎云計算平臺,除了廣告,IT公司還用哪些方式在利用Hadoop。
1. 在線旅游
云計算供應商Cloudera COO Kirk Dunn 表示,目前上80%的世界在線旅游使用了Cloudera 的Hadoop服務。他沒有透露具體的名單,但著名的Orbitz Worldwide是我知道的客戶之一。
2. 移動數據
目前Cloudera為美國70%的智能手機提供Hadoop支持,我們可以確定Dunn講的是無限供應商支持的移動數據儲存和處理。
3. 電子商務
Dunn 表示Cloudia為美國超過1000萬在線商家提供Hadoop服務,eBay是他們的一個大客戶, 因為其要管理一個龐大的個人賣家市場,賣家數量達到1000萬以上。而Ebay在用Hadoop服務90天后,純利潤增加了3%。
4. 能源發現
雪佛龍代表解釋了他們公司利用Hadoop的實例:通過分類和處理海洋地震數據可以預測石油儲備狀況。
5. 節能
雪佛龍代表同時還表示Hadoop還用在節能上,雪佛龍利用Hadoop來支持其節能系統,顧客們按照系統提示節能的同時也節省了不少錢。而相關人士甚至表示這個理念可以用到精確和長期的基金預測上。
6. 基礎架構管理
越來越多的IT公司在收集和分析他們的服務器數據,在Cloudera討論會上, NetApp代表表示他們公司利用Hadoop技術從全部的安裝點上收集設備logs(超過千萬億的logs數量)。
7. 圖片處理
創業公司“Skybox圖片”正是利用Hadoop來儲存和處理圖片的,這些圖片是衛星根據地理變化的模式有規律地抓取的高清圖片。Skybox最近獲得了7000萬美元的融資。
8. 欺詐識別
這是個經典實用的話題,這在財政機構和情報機構非常有市場。Cloudera客戶之一Zions Bancorporation表示他們利用Hadoop儲存一切可能預示欺騙性的用戶交易和異常情況數據。
9. IT安全
除了基礎架構管理,IT公司們也開始用Hadoop來處理惡意軟件和網絡攻擊數據。去年Trust
就用hadoop為各種IP評定分數,然后各大公司就可以決定是否接受那些惡意IP的來訪。
10. 醫療健康
目前Apixio正使用Hadoop來幫助他們對病人的回答做語義分析,從而幫助醫生,護士更好的掌控病情。
Hadoop定義:
1. 一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。
2. Hadoop是一套開源的、基礎是Java的、目前能夠讓數千臺普通、廉價的服務器組成一個穩定的、強大的集群,使其能夠對pb級別的大數據進行存儲、計 算。已經具有了強大穩定的生態系統,也具有很多使用的延伸產品。比如做查詢的Pig, 做分布式命名服務的ZooKeeper, 做數據庫的Hive等等。