雅虎構(gòu)建終極私有云:可按需擴展
設(shè)想一下,一個每秒處理150萬個請求的網(wǎng)站需要什么樣的基礎(chǔ)設(shè)施。這正是雅虎負責云架構(gòu)的副總裁托德·帕帕約安努(Todd Papaioannou)面臨的挑戰(zhàn)之一。
帕帕約安努上個月在加州圣克拉拉舉行的云領(lǐng)導(dǎo)人論壇會議上發(fā)表演講時稱,“什么是我最大的痛點?不是谷歌。我最大的問題是彈性。虛擬機須馬上啟動,但是虛擬化還沒有準備好。當日本海嘯、本·拉登死亡或者邁克爾·杰克遜去世等突發(fā)新聞引起雅虎流量達到高峰的時候,用10到20分鐘來處理這個高峰流量的時間是太長了。”
這是雅虎建立自己的終極私有云的原因。“對于建立私有云來說,我不是指一個虛擬化的服務(wù)器集群,我是指一個能夠迅速擴展和收縮的基礎(chǔ)設(shè)施。”
使用公有云也不能解決這個問題。帕帕約安努預(yù)測稱,依靠亞馬遜的彈性塊存儲服務(wù),啟動一個虛擬機實例需要20至40分鐘。
雅虎是最流行的互聯(lián)網(wǎng)網(wǎng)站。它每天要處理40萬臺服務(wù)器提出的網(wǎng)頁申請。雅虎支持6.80億注冊用戶,存儲200多PB數(shù)據(jù),其中多數(shù)存儲在4.2萬臺Hadoop服務(wù)器中。它每天收集和處理1000億個事件,每秒處理1150萬個請求,每個月處理110億個網(wǎng)頁。
帕帕約安努稱,“私有云并不只是漂亮的營銷短語。當通訊高峰出現(xiàn)時,我們目前的唯一選擇是‘分級卸載工作量’。這意味著私有云將暫停一些低等級的工作量或者把這種工作量從服務(wù)器中刪除,把這些服務(wù)器專門用于高峰工作量。低優(yōu)先等級的工作量包括運行批量工作量的服務(wù)器。”
在雅虎私有云堆棧的底部是兩層帕帕約安努考慮的“基礎(chǔ)設(shè)施即服務(wù)”(IaaS)。這是一個熟悉的詞匯,表示提供多租戶裸機硬件的公有云提供商。在雅虎的案例中,它不與任何人共享其數(shù)據(jù)中心。相反,雅虎有一個名為“云結(jié)構(gòu)”的用戶開發(fā)的抽象層。它能夠把整個計算機/數(shù)據(jù)中心資源池看作是一個池,并且在分配任務(wù)的時候不考慮它們的物理位置在什么地方。
在這個版本的基礎(chǔ)設(shè)施即服務(wù)的下一層是“云服務(wù)”,如負責全球負載平衡的雅虎緩存代理。“通訊服務(wù)器”等服務(wù)在這里。通訊服務(wù)器是一個開源軟件內(nèi)容緩存工具。雅虎在2009年把它發(fā)布給開源軟件社區(qū)。
這個堆棧的下一個部分與平臺即服務(wù)(PaaS)有關(guān)。在公共云中,這意味著包括操作系統(tǒng)和中間件軟件在內(nèi)的一個租借的地方。在雅虎的案例中,這就是Hadoop。在另一個時代Hadoop一直被稱作網(wǎng)格計算引擎。在目前的詞匯中,Hadoop是用于分布式處理計算機集群中的大型數(shù)據(jù)集的一個開源軟件。
下一層是是帕帕約安努所說的雅虎秘笈:知識即服務(wù)。這包括使廣告與內(nèi)容匹配的網(wǎng)絡(luò)對象的其它應(yīng)用。這個應(yīng)用對廣告、相關(guān)的鏈接和其它用戶內(nèi)容進行分析、排序、優(yōu)化和排名。
在這個堆棧的頂部是“軟件即服務(wù)(SaaS)”或者稱作雅虎媒體服務(wù)。這包括網(wǎng)絡(luò)電視、雅虎開發(fā)人員網(wǎng)絡(luò)、Front Page、郵件、Messenger以及用戶生成的內(nèi)容。