亞馬遜自爆家史:亞馬遜EC2的發展史
譯文三年前,其中一款產品EC2(彈性計算云)還只是個想法而已。
Bezos說:“有一個不為人知的亞馬遜,我們必須在后臺開展這一切工作,以便讓這個產品切實可行。”他隨后又強調,S3(簡單存儲服務)、EC2和Mechanical Turk這些技術代表了“11年來的大規模萬維網計算(web-scale computing)”方面的研發成果,總共耗費了亞馬遜在技術和內容方面“數十億美元的投入。”
最初開發EC2是用于亞馬遜的內部基礎設施。它起初只是Chris Pinkham頭腦中的一個設想。2000年代早期,他擔任工程師,負責亞馬遜的全球基礎設施。
Pinkham說:“我們基礎設施技術部門的人員當時覺得,我們確實需要為開發團隊提供服務,讓基礎設施分散化。這是一大激勵因素。”
“面向全世界的基礎設施服務”
Pinkham考慮了這個問題,在2003年開始努力構建“面向全世界的基礎設施服務”。他希望,開發出來的服務不僅可以適用于亞馬遜基礎設施,可以能幫助廣泛開發人員。
亞馬遜的首席技術官Werner Vogels在社交問答網站Quora上寫道:“我們憑經驗知道,采用一種傳統的多數據中心模式來維護一套可靠的、可擴展的基礎設施,其在時間和人力方面的成本可能高達70%,還需要投入大量的智力資本,才能在一段比較長的時間內維持正常運行。初衷是,提供的服務可以把這個成本降低到30%或更少(我們現在知道這個成本可以低得多)。”
Pinkham和亞馬遜的另一名工程師Benjamin Black撰寫了一篇短文,向亞馬遜的首席執行官Jeff Bezos概述了這方面的想法,后者很喜歡這個想法,隨后詢問了可通過云來配置的虛擬服務器方面的更多細節。
但Pinkham當時有了第二個孩子,于是與亞馬遜的其他人談論后,他離開公司,在南非設立了一家附屬的開發辦事處:這是亞馬遜在南非所開的第一家辦事處;他和另外幾個工程師(包括Christopher Brown和Wiljem Van Biljon)致力于設計EC2服務。
積極大膽的做法
到2005年,亞馬遜將這項技術提供給簽訂了保密協議的一些客戶。這項服務定于2006年夏天正式發布。
Pinkham說:“亞馬遜一貫主張采取非常積極大膽的舉動。”
這家公司的大膽做法體現在兩個方面:一是非常迅速地擴展服務,二是選擇了比較低的利潤,以此“把競爭對手擋在門外,”Pinkham如是說。
EC2和S3發布后,分析師們連珠炮似地向亞馬遜的首席財務官Tom Szkutak提出了關于該服務的眾多問題:營業利潤將怎樣?亞馬遜網絡服務(AWS)方面的發展會如何推動整個亞馬遜集團的發展?又有什么樣的投資計劃?
據股市分析網站SeekingAlpha上的一份文字記錄(http://seekingalpha.com/article/19142-amazon-com-q3-2006-earnings-call-transcript?part=qanda)顯示,Szkutak在2006年說過:“我們之所以搞萬維網服務,原因是過去的11年我們在這些方面做得非常好,可以構建名為Amazon.com的這個大規模萬維網應用系統。于是,我們開始著手披露亞馬遜的內情,外面的其他開發人員需要同樣那些種類的大規模萬維網服務……我們所做的就是披露那些服務,并且把這逐步打造成有意義的業務。”
Pinkham最后離開了亞馬遜,與別人創辦了Nimbula,這家公司試圖把亞馬遜通過EC3推而廣之的技術,運用到內部私有云。他說:“我是從亞馬遜出來的,驚訝地發現客戶搭建小規模的基礎設施也并非易事。”
自2006年EC2正式發布以來,其價值越來越大,它已成為亞馬遜的云服務生態系統的基石。如果客戶對亞馬遜的任何一款高級產品(比如DynamoDB或Elastic Beanstalk)有興趣,就有很強烈的動機來配置其中一個EC2虛擬計算實例。這對于一項旨在改善網上書店業績的技術來說并不賴。
鏈接:AWS的崛起之路
該圖顯示,自EC2和S3在2006年發布以來,亞馬遜的“其他收入”這一塊的收益同比出現了大幅增長,一條迅速遞增的曲線與亞馬遜擴建數據中心的步伐和在該平臺上提供的技術和服務的數量增長緊密對應。
就算我們采取保守的估計,以代表亞馬遜網絡服務公司(AWS)的“其他收入”這個數字的僅僅50%為準,增長率也是相當驚人。
亞馬遜繼續充實其技術,從商品化的存儲和計算方案擴大到更復雜的領域,比如固態硬盤(SSD)支持的DynamoDB NoSQL數據庫,或者是基于代理軟件、連接到私有數據中心的存儲網關,不斷地為亞馬遜網絡服務公司添加新的方面。
亞馬遜的首席技術官Werner Vogels表示,他希望“1000個平臺在亞馬遜環境上蓬勃發展”,聲稱開發方法就是不斷增添服務,那樣每一個開發人員都能在其平臺上找到歸宿。
2011年1月Werner在個人博客上寫道:“AWS的開發生態系統始終非常豐富,我們希望這樣子可以保持下去。我們的目的就是,確保每一個開發人員青睞的系統在AWS上始終隨時可用,那樣他們不用再為部署和運行可擴展、容錯的應用軟件而操心了,而是可以致力于開發應用軟件。”
通過為AWS云提供更多的服務,亞馬遜發現了有辦法從一系列更廣泛的應用軟件獲取更多類型的數據。這體現在其主要的S3存儲服務中的單個文件存儲區的數量出現了爆炸式增長。
亞馬遜繼續投資興建數據中心,以適應其云服務蓬勃發展的需要。截至2012年,該公司在除中東和大洋洲之外的全球各大區域都建有數據中心。它的基礎設施主要集中在美國東海岸地區,不過以愛爾蘭為大本營的歐洲數據中心也發展起來。
由于每大區域都有多個可用區域(availability zone),而可用區域本身可能是整個數據中心或多個數據中心,所以很難確定亞馬遜的數據中心到底有幾個。不過,每當亞馬遜宣布在新地區興建數據中心,它的資本投入額日益增長,這表明了數據中心變得更加先進,或者變得規模更加龐大。
除了興建數據中心外,亞馬遜還一直在全球各地慎重選擇一大批邊緣位置。業界最近猜測德國很可能成為下一個AWS區域和建有相應數據中心的國家,那是由于德國的數據保護法律很嚴格。
原文鏈接:http://www.zdnet.co.uk/news/cloud/2012/06/07/how-amazon-exposed-its-guts-the-history-of-awss-ec2-40155310/