谷歌保持技術(shù)競(jìng)爭(zhēng)力的秘訣:以全球規(guī)模工程為先
本文內(nèi)容,源自我在谷歌提供軟件工程師這六年當(dāng)中的親身實(shí)踐,以及對(duì)谷歌內(nèi)部廣泛工程運(yùn)營(yíng)活動(dòng)的觀察。希望通過(guò)這篇文章,能夠?qū)雀璧娜蛞?guī)模工程實(shí)施做出一番宏觀概述。
從 2013 年 8 月到 2019 年 4 月的這六年時(shí)間,我有幸加入谷歌參與一系列項(xiàng)目。最近,我剛剛跳槽至洛杉磯當(dāng)?shù)氐牧硪患页鮿?chuàng)企業(yè),擔(dān)任創(chuàng)始工程師職務(wù)。
在谷歌任職期間,這位科技巨頭在構(gòu)建并運(yùn)營(yíng)全球規(guī)模的軟件方面表現(xiàn)出的強(qiáng)勁實(shí)力,給我留下了極為深刻的印象。
雖然無(wú)法透露太多細(xì)節(jié),但相信有心的朋友都已經(jīng)感受到,過(guò)去十年以來(lái)分布式系統(tǒng)所迎來(lái)的發(fā)展與由此體現(xiàn)出的巨大優(yōu)勢(shì)。Hadoop 本身已經(jīng)發(fā)展為價(jià)值 10 億美元的行業(yè);實(shí)際上,谷歌內(nèi)部的類似系統(tǒng)不僅設(shè)計(jì)水平更高,其家族中的兄弟姐妹也更為興旺——正是這近百種系統(tǒng)的相互協(xié)同,支撐起谷歌龐大而繁榮的業(yè)務(wù)體系。
谷歌將全球工程視為其核心業(yè)務(wù)價(jià)值之一。以云游戲平臺(tái) Stadia 為例,雖然多年之前就曾經(jīng)有類似的小規(guī)模產(chǎn)品上線,但只有谷歌有能力將其拓展為真正的全球化平臺(tái)、供來(lái)自世界各地的用戶隨意使用。
事實(shí)上,谷歌的幾乎每一款產(chǎn)品都是以全球規(guī)模作為既定發(fā)展目標(biāo)。谷歌一直努力為世界上那些最具挑戰(zhàn)性的技術(shù)難題投入大量資金,其中最典型的例子當(dāng)數(shù) Waymo(目前為 Alphebet 旗下的獨(dú)立公司)。很明顯,就在自動(dòng)駕駛汽車還只處于研究階段時(shí),谷歌就已經(jīng)決意投入巨額資金。與之對(duì)應(yīng),任何無(wú)法服務(wù)于全球客戶的項(xiàng)目都將被降級(jí)甚至直接裁撤。最近一個(gè)突出案例當(dāng)數(shù) Google+——谷歌一直在努力將這項(xiàng)社交網(wǎng)絡(luò)服務(wù)推向客戶,但在意識(shí)到其未能得到受眾的認(rèn)可之后,Google+ 項(xiàng)目已經(jīng)(面向非商業(yè)客戶)被關(guān)閉。
谷歌的全球視角工程能力體現(xiàn)在以幾個(gè)關(guān)鍵領(lǐng)域當(dāng)中:
人員管理:全球規(guī)模的工程必然需要一支全球規(guī)模的工程團(tuán)隊(duì)。谷歌公司擁有超過(guò) 4 萬(wàn)名世界一流的軟件工程師,以及同等數(shù)量、在日常運(yùn)營(yíng)中同樣不可或缺的非技術(shù)人員。他們?cè)谌驍?shù)十個(gè)國(guó)家 / 地區(qū)設(shè)有辦事機(jī)構(gòu),正是這種遍布全球的業(yè)務(wù)體系使得谷歌能夠吸引到眾多頂尖人才。他們具備截然不同的個(gè)人與專業(yè)背景,也抱著不同的信念加入谷歌公司。一般來(lái)說(shuō),與谷歌體量相當(dāng)?shù)木揞^級(jí)企業(yè)往往會(huì)建立自己的全球辦事處,負(fù)責(zé)處理企業(yè)績(jī)效與營(yíng)收等相對(duì)次要的工作。但谷歌的情況完全不同:以旗下 Borg 團(tuán)隊(duì)為例,除了谷歌的 maib 園區(qū)之外,Bog 還有多位重要成員在華沙負(fù)責(zé)開(kāi)發(fā)與維護(hù)工作,SRE 團(tuán)隊(duì)則身處蘇黎世。自 2003 年成立以來(lái),Borg 下轄的各小組就保持著這種距離遙遠(yuǎn)、但又密切合作的協(xié)同方式。
技術(shù):技術(shù)是一切的基礎(chǔ),負(fù)責(zé)為人們?cè)趨f(xié)作、運(yùn)營(yíng)優(yōu)化、商機(jī)創(chuàng)造以及創(chuàng)新實(shí)現(xiàn)等領(lǐng)域提供工具與保障。全球工程組織不可能依賴于第三方供應(yīng)商。這方面技術(shù)成果非常難于構(gòu)建,但一旦完成,又足以成為企業(yè)占據(jù)競(jìng)爭(zhēng)優(yōu)勢(shì)地位的核心要素。谷歌為工程師們提供一套完整的開(kāi)發(fā)者工具,幫助他們隨心所欲發(fā)揮才華與靈感。谷歌還在分布式系統(tǒng)、AI/ML 以及安全性等方面實(shí)現(xiàn)了諸多突破,使自家軟件始終保持著高性能、高可靠性與高安全性。谷歌掌握著多款世界級(jí)重磅軟件產(chǎn)品,這些產(chǎn)品無(wú)論在規(guī)模上還是質(zhì)量方面,都擁有著無(wú)可比擬的強(qiáng)勢(shì)地位。有統(tǒng)計(jì)數(shù)字表明,谷歌在構(gòu)建及運(yùn)行大型軟件系統(tǒng)方面擁有夢(mèng)幻般的表現(xiàn),展現(xiàn)出傲視同儕的高級(jí)技術(shù)擴(kuò)展能力。更重要的是,谷歌不僅打造出了這樣的系統(tǒng),還通過(guò)優(yōu)異的市場(chǎng)表現(xiàn)借全球用戶受眾之手證明了其技術(shù)投資的合理性。
運(yùn)營(yíng):怎樣才能充分利用技術(shù)基礎(chǔ)設(shè)施?如何正確解決短期與長(zhǎng)期工程中的目標(biāo)與風(fēng)險(xiǎn)問(wèn)題?為此,谷歌開(kāi)創(chuàng)了 SRE。與傳統(tǒng)運(yùn)營(yíng)團(tuán)隊(duì)不同,SRE 每天需要將至少 50% 的工作時(shí)間投入到日常運(yùn)營(yíng)自動(dòng)化軟件的編寫當(dāng)中。這既能夠保證對(duì)卓越運(yùn)營(yíng)的持續(xù)投入,又能保證基礎(chǔ)設(shè)施與應(yīng)用程序具備出色的質(zhì)量水平。此外,數(shù)據(jù)驅(qū)動(dòng)型決策也早已成為每一位谷歌員工日常工作中的重要組成部分。
業(yè)務(wù)發(fā)展:由這些因素相互整合而實(shí)現(xiàn)的能力,最終還是需要在具備實(shí)際業(yè)務(wù)價(jià)值的產(chǎn)品當(dāng)中有所體現(xiàn)。由于作者對(duì)這方面議題并不熟悉,因此很遺憾無(wú)法做出詳細(xì)介紹。
縱觀整個(gè)基礎(chǔ)設(shè)施體系,谷歌在產(chǎn)品當(dāng)中掌握著全面的技術(shù)棧儲(chǔ)備。從數(shù)據(jù)中心、跨洋光纖鏈路、定制化服務(wù)器、編程語(yǔ)言與開(kāi)發(fā)者工具,到多種操作系統(tǒng)、基礎(chǔ)集群服務(wù)、中間件、應(yīng)用程序框架、大數(shù)據(jù)、AI/ML 框架與工具、乃至消費(fèi)級(jí)硬件等,谷歌始終牢牢把持著全球第一梯隊(duì)的位置,甚至在多個(gè)領(lǐng)域做到了無(wú)可爭(zhēng)議的最高水平。