Yahoo構建私有云應對海量數(shù)據(jù)
想像一個每秒響應150萬個請求的網(wǎng)站需要怎樣的基礎設施?這是Yahoo云架構副總裁Todd Papaioannou面臨的挑戰(zhàn)之一。Todd Papaioannou表示“什么最使我頭疼?不是Google。我現(xiàn)在最頭疼的問題是虛擬化加速的時間。”
對于一條重量級的新聞來說,10到20分鐘的時間來處理Yahoo流量飆升的問題實在是太長了。例如日本海嘯,Osama bin Laden或Michael Jackson死亡的消息。
這就是為什么Yahoo構建了他們自己的私有云。當然這不意味著Yahoo只是搭建了一些虛擬服務器集群,Yahoo的基礎設施規(guī)模可擴大或縮小。
據(jù)Papaioannou估計,依靠Amazon EBS(Elastic Block Store)存儲,需要20到40分鐘來啟動VM實例。Yahoo支持超過6.8億注冊用戶和超過200PB的數(shù)據(jù)存儲在42000臺Hadoop服務器上。同時每天收集和處理1000億次的事件,并響應每秒1150萬的網(wǎng)絡請求和累計每月110億次服務器網(wǎng)頁請求。
Yahoo認為自己提供的是為消費者服務的個人云。提供互聯(lián)網(wǎng)服務,如照片E-Mail和其他數(shù)據(jù)存儲,并未用戶提供搜索,新聞,游戲和視頻。其秘密武器是WOO(Yahoo提出互聯(lián)網(wǎng)是對象集合而不是網(wǎng)頁集合”搜索理念推出的一系列新搜索功能命名為“WOO”搜索)。如果用戶搜索一個樂隊,WOO可顯示新聞、視頻、歌詞等。
Papaioannou表示這意味著私有云不僅是一個漂亮的營銷短語。Yahoo私有云底部是兩層的,而基礎設施則作為一種服務。Yahoo不對任何人共享其數(shù)據(jù)中心,其開發(fā)的自定義抽象層被稱為“Cloud Fabrics”。可以將其看作中計算/數(shù)據(jù)中心的整個池資源,無需關注物理位置,因為主要負責分配已有的應用任務。另一層是Yahoo所說的秘密武器WOO。
私有云和私有數(shù)據(jù)中心永遠不會完全消失,Papaioannou認為如果一家公司發(fā)展的足夠迅速,擁有自己的基礎設施比共享更節(jié)省成本。對于大多數(shù)企業(yè)來說,每秒150萬的網(wǎng)絡請求帶來的經(jīng)濟規(guī)模是巨大的,云計算是***的選擇。