電商混合云在1號(hào)店的運(yùn)維實(shí)踐
嘉賓介紹
黃哲鏗
––– 1號(hào)店,技術(shù)總監(jiān)
負(fù)責(zé)云計(jì)算平臺(tái)、移動(dòng)分銷、互聯(lián)網(wǎng)金融等領(lǐng)域工作
曾服務(wù)于MySteel,曾作為技術(shù)合伙人參與龍財(cái)網(wǎng)、UFO鞋業(yè)等創(chuàng)業(yè)項(xiàng)目
2015年出版?zhèn)€人專著《技術(shù)管理之巔—如何從零打造高質(zhì)效互聯(lián)網(wǎng)技術(shù)團(tuán)隊(duì)》
個(gè)人擁有多項(xiàng)技術(shù)發(fā)明和專利,在超大型電商系統(tǒng)設(shè)計(jì)、大型IT團(tuán)隊(duì)治理等領(lǐng)域享有盛譽(yù)。
熱愛生活和搖滾樂,曾接受《芭莎男士》等時(shí)尚雜志采訪。
專欄介紹
本專欄文章內(nèi)容,主要節(jié)選自我的新書《技術(shù)管理之巔—如何從零打造高質(zhì)效互聯(lián)網(wǎng)技術(shù)團(tuán)隊(duì)》。本文是其中第一篇,希望大家喜愛。
在技術(shù)開發(fā)的整個(gè)周期中,運(yùn)維平臺(tái)是支撐生意發(fā)展最基本的保證。今天跟大家分享混合云在電商中的應(yīng)用,如何做到成本優(yōu)化和高效穩(wěn)定兼顧,下面我們一起來解密1號(hào)店的電商混合云。
混合云
融合了公有云和私有云,是近年來云計(jì)算的主要模式和發(fā)展方向。我們已經(jīng)知道私有云主要是面向企業(yè)用戶,出于安全考慮,企業(yè)更愿意將數(shù)據(jù)存放在私有云中,但是同時(shí)又希望可以獲得公有云的計(jì)算資源。
在這種情況下混合云被越來越多的采用,它將公有云和私有云進(jìn)行混合和匹配,以獲得最佳的效果,這種個(gè)性化的解決方案,達(dá)到了既省錢又安全的目的。
下面我們跟隨1號(hào)店的案例,來了解電商企業(yè)是如何思考和運(yùn)用混合云的:
1號(hào)店?duì)I銷帶來各種業(yè)務(wù)高峰
1號(hào)店的營銷創(chuàng)意常常能夠讓人眼前一亮,留下深刻印象,引發(fā)互聯(lián)網(wǎng)業(yè)界的大范圍傳播,如下圖:
“牛奶吉尼斯”活動(dòng),目標(biāo)是沖擊“當(dāng)日銷售牛奶盒數(shù)最多”的吉尼斯世界記錄。
“11•11屬于全人類”活動(dòng),是在11月11日當(dāng)天,包下了紐約時(shí)代廣場的大屏幕,展示“11•11屬于全人類”的文字,喊出了電商人的心聲,借此調(diào)侃國內(nèi)某電商巨頭想壟斷“雙11”這個(gè)商標(biāo)的荒唐行徑。
如何應(yīng)對(duì)突增的訪問壓力?
成功的營銷帶來的是數(shù)十倍于平日的訪問壓力,如何應(yīng)對(duì)這些訪問壓力?最直接的方式是增加服務(wù)器。
然而,我們注意到一個(gè)問題,數(shù)百臺(tái)的服務(wù)器如果只是為了每年幾次的營銷活動(dòng)而準(zhǔn)備,利用率是非常低的,對(duì)公司而言這樣的成本投入是不劃算的,所以我們考慮用公有云的服務(wù)器來應(yīng)對(duì)營銷活動(dòng)的訪問壓力。
1號(hào)店已經(jīng)建立起了頗具規(guī)模的私有云平臺(tái),在此基礎(chǔ)上構(gòu)建了混合云管理平臺(tái),混合云的接入和使用過程如圖所示。
1.服務(wù)器校驗(yàn)
首先,混合云平臺(tái)對(duì)公有云提供的服務(wù)器進(jìn)行校驗(yàn),校驗(yàn)內(nèi)容包括IP地址、內(nèi)存、硬盤等信息是否跟清單匹配,通過校驗(yàn)后,混合云平臺(tái)把機(jī)器配置模板和鏡像傳輸給公有云機(jī)器。
2.服務(wù)器授權(quán)
接著,混合云平臺(tái)對(duì)公有云機(jī)器進(jìn)行授權(quán),通過授權(quán)的混合云機(jī)器才能夠訪問私有云網(wǎng)絡(luò)資源,否則訪問會(huì)被拒絕訪問。
3.公有云初始化
然后,通過之前拷貝過來的配置模板,對(duì)公有云機(jī)器進(jìn)行初始化,使公有云機(jī)器從一臺(tái)裸機(jī)變成符合生產(chǎn)環(huán)境配置要求的生產(chǎn)機(jī)器。
#p#
4.部署及回收公有云
最后,通過自動(dòng)化發(fā)布程序,把應(yīng)用部署到公有云機(jī)器上,它就可以對(duì)外提供服務(wù)了。在使用結(jié)束后,混合云平臺(tái)會(huì)對(duì)混合云機(jī)器的授權(quán)進(jìn)行回收、費(fèi)用結(jié)算等操作。
5.混合云管理平臺(tái)工作流程
下圖是混合云管理平臺(tái)工作流程圖,私有云和公有云是通過混合云管理平臺(tái)進(jìn)行整合,共同為業(yè)務(wù)提供服務(wù)。
實(shí)施混合云的6項(xiàng)注意
在實(shí)施混合云的過程中,需要注意6個(gè)方面:成熟的私有云平臺(tái)、帶寬和網(wǎng)絡(luò)延遲、IO性能、API接口支持、穩(wěn)定性和安全性。
下面我們分別加以敘說。
1.成熟的私有云平臺(tái)
首先需要強(qiáng)調(diào)的是,成熟的私有云平臺(tái)是實(shí)現(xiàn)混合云的前提條件。否則還是少談混合云的事情,否則顧此失彼,首尾難顧。這是因?yàn)椋?/p>
只有企業(yè)自身已具備完善的管理流程、高度自動(dòng)化的運(yùn)維管理和監(jiān)控預(yù)警系統(tǒng),在這基礎(chǔ)上,再將公有云的資源納入到管理體系中,才能夠很好的對(duì)這些外部資源進(jìn)行高效管理。
與此同時(shí),企業(yè)在發(fā)展的過程中,需要逐步進(jìn)行運(yùn)維平臺(tái)的升級(jí),一步步過渡到自動(dòng)化運(yùn)維、私有云的階段,這些都是不斷積累和演進(jìn)的結(jié)果。
2.帶寬和網(wǎng)絡(luò)延遲
在業(yè)務(wù)邏輯復(fù)雜的電商系統(tǒng)中,對(duì)數(shù)據(jù)交互、交易事務(wù)的完整性要求很高,幾十毫秒的數(shù)據(jù)延遲都可能導(dǎo)致交易失敗,混合云的場景下網(wǎng)絡(luò)延遲是不可避免的,這就必須從應(yīng)用層面做出規(guī)定:
核心交易相關(guān)應(yīng)用不能使用混合云,同時(shí)優(yōu)化應(yīng)用程序,以減少帶寬。
比如,有的開發(fā)人員喜歡在一個(gè)for循環(huán)里進(jìn)行程序調(diào)用,在混合云的架構(gòu)中開銷就太大了,所以必須把循環(huán)調(diào)用,改成批處理方式去提交作業(yè)。
一般而言,能夠接受的延遲是10毫秒以內(nèi)。通過拉專線或光纜,連接私有云和公有云,如果兩個(gè)IDC在不同的城市,那么距離一般需要控制在200公里左右。
3.IO性能
公有云服商機(jī)器的IO性能差別是很大的,在選擇供應(yīng)商的時(shí)候要關(guān)注IO性能,如果把主從關(guān)系的數(shù)據(jù)庫放在公有云上,那對(duì)IO的要求是非常高的,許多應(yīng)用場景中,程序大量讀取備庫,稍有性能問題,會(huì)導(dǎo)致線上事故。
選擇使用了SSD硬盤的公有云提供商,是個(gè)不錯(cuò)的選擇。
4.API接口支持
良好的私有云平臺(tái)應(yīng)該有豐富的API接口支持,方便跟公有云對(duì)接,提升接入效率,使云服務(wù)的費(fèi)用結(jié)算更精確。
比如,當(dāng)完成了跟公有云的對(duì)接后,我們可以隨時(shí)開通公有云的服務(wù),而且使用了多少機(jī)器、使用了多久,都可以實(shí)時(shí)查到,真正做到像使用“自來水”一樣的使用云服務(wù)。
5.穩(wěn)定性
云服務(wù)發(fā)生故障的概率還是不小的,這需要流量調(diào)度機(jī)制足夠靈活,一旦出現(xiàn)問題可以立即切換回私有云,根據(jù)業(yè)務(wù)特點(diǎn)能夠?qū)崿F(xiàn)秒級(jí)、分鐘級(jí)的切換時(shí)效。
另外對(duì)公有云要做比較完備的監(jiān)控、心跳檢測等等,一旦發(fā)現(xiàn)服務(wù)不穩(wěn)定,可以通過GSLB,把流量切回私有云。
相反的,如果私有云有問題了,也可以把一些流量切換到公有云上,這是混合云平臺(tái)必須具備的能力。
6.安全性
將公有云與私有云進(jìn)行整合后,公有云機(jī)器相當(dāng)于進(jìn)入了企業(yè)數(shù)據(jù)中心,如果公有云的機(jī)器沒有做好安全管理工作的話,會(huì)對(duì)企業(yè)數(shù)據(jù)中心造成威脅。因此公有云和私有云的通訊必須做嚴(yán)格的審計(jì)和限制,敏感數(shù)據(jù)不保存在云端。
安全問題,我個(gè)人認(rèn)為主要有兩個(gè)挑戰(zhàn):
-
一個(gè)是在技術(shù)層面,技術(shù)問題也許經(jīng)過一段時(shí)間,隨著技術(shù)的發(fā)展會(huì)得到解決;
-
另一個(gè)是心理層面,國內(nèi)企業(yè)的老板們對(duì)云的安全性都有顧慮。他們覺得“錢放在外人那里,哪有放在我家枕頭下安全”,
如果今天你跟你的老板說我的用戶我的數(shù)據(jù)都在公有云里,老板一下子就把你拍死了,你沒有機(jī)會(huì)跟他解釋,在技術(shù)是如何的有安全保障。
所以,怎么合理規(guī)劃、站在公司的角度來充分考量整個(gè)方案(而不僅僅是技術(shù)方案),非常重要。
以上就是我在混合云實(shí)踐中的一些思考和經(jīng)驗(yàn),正如我在新出版的《技術(shù)管理之巔》一書中介紹的,希望對(duì)大家有一些借鑒作用:
技術(shù)與業(yè)務(wù)融合,能夠驅(qū)動(dòng)業(yè)務(wù)的發(fā)展,發(fā)揮技術(shù)的巨大價(jià)值。
如何一起愉快地發(fā)展
“高效運(yùn)維”公眾號(hào)(如下二維碼)值得您的關(guān)注,作為高效運(yùn)維系列微信群的唯一官方公眾號(hào),每周發(fā)表多篇干貨滿滿的原創(chuàng)好文:來自于系列群的討論精華、運(yùn)維講壇線上/線下活動(dòng)精彩分享及部分群友原創(chuàng)。“高效運(yùn)維”也是互聯(lián)網(wǎng)專欄《高效運(yùn)維最佳實(shí)踐》及運(yùn)維2.0官方公眾號(hào)。
提示:目前高效運(yùn)維兩個(gè)微信主群僅有少量珍貴席位,如您愿意,可添加蕭田國個(gè)人微信號(hào) xiaotianguo 為好友,進(jìn)行申請;或申請加入我們技術(shù)交流群(技術(shù)討論為主,沒有主群那么多規(guī)矩,更熱鬧)。
重要提示:除非事先獲得授權(quán),請?jiān)诒竟娞?hào)發(fā)布2天后,才能轉(zhuǎn)載本文。尊重知識(shí),請必須全文轉(zhuǎn)載,并包括本行及如下二維碼。