【W(wǎng)OT2015】孔德亮:360是如何做大規(guī)模集群運(yùn)維的
原創(chuàng)51CTO WOT 2015移動(dòng)互聯(lián)網(wǎng)開發(fā)者大會(huì)即將于2015年7月24-25日在北京富力萬麗酒店隆重召開。本次大會(huì)共設(shè)八大技術(shù)分論壇,分別從產(chǎn)品與設(shè)計(jì)、平臺(tái)與技術(shù)、創(chuàng)新與創(chuàng)業(yè)、移動(dòng)游戲、算法分析、HTML5、運(yùn)維安全、新浪微博技術(shù)等方面,為廣大移動(dòng)開發(fā)者解開技術(shù)迷思。
為使大家進(jìn)一步了解本次大會(huì),有針對(duì)性地選擇課程內(nèi)容,51CTO記者對(duì)即將參加大會(huì)演講的技術(shù)專家分別進(jìn)行專訪,為您進(jìn)行各場(chǎng)演講精華的新鮮速遞。本次大會(huì)詳細(xì)議程見:http://wot.51cto.com/.
今天帶來“劇透”的是360云事業(yè)部總監(jiān)孔德亮,現(xiàn)任360私有云、公有云項(xiàng)目負(fù)責(zé)人。孔德亮2009年加入奇虎360,先后負(fù)責(zé)應(yīng)用運(yùn)維、DBA、基礎(chǔ)架構(gòu)、平臺(tái)開發(fā)等工作,并通過逐步積累完成了私有云平臺(tái)的搭建。在本次的WOT移動(dòng)互聯(lián)網(wǎng)開發(fā)者大會(huì)中,孔德亮老師將在“運(yùn)維安全專場(chǎng)”為大家?guī)矸窒恚绻氵€不知道怎么才能甩掉運(yùn)維人員身上的“黑鍋”,就速速前來報(bào)道吧!
【講師簡(jiǎn)介】
孔德亮,奇虎360云事業(yè)部總監(jiān),跨領(lǐng)域技術(shù)專家,現(xiàn)任360私有云、公有云項(xiàng)目負(fù)責(zé)人。孔德亮2009年加入奇虎360,隨著360業(yè)務(wù)快速發(fā)展,他也開始了內(nèi)部創(chuàng)業(yè)之旅,先后負(fù)責(zé)應(yīng)用運(yùn)維、DBA、基礎(chǔ)架構(gòu)、平臺(tái)開發(fā)等工作,通過逐步積累形成了私有云平臺(tái)。眾所周知,運(yùn)維的工作“臟、苦、累”,一旦出現(xiàn)問題,運(yùn)維人員似乎永遠(yuǎn)是那個(gè)背黑鍋的人,所以,他希望能夠?qū)⒓夹g(shù)產(chǎn)品化,使業(yè)務(wù)團(tuán)隊(duì)借助云平臺(tái)的力量,縮短研發(fā)周期、降低運(yùn)維成本,同時(shí)能讓IT技術(shù)人員在靈活的操作體驗(yàn)中感受愉悅。
孔德亮 360云事業(yè)部總監(jiān)
以下是51CTO記者對(duì)孔德亮老師的訪談實(shí)錄:
**************************************************************************
51CTO:請(qǐng)簡(jiǎn)單介紹您個(gè)人的基本情況和從業(yè)經(jīng)歷。
孔德亮:我2009年加入360,先后負(fù)責(zé)運(yùn)維、DBA、基礎(chǔ)架構(gòu)、平臺(tái)開發(fā)等工作。主導(dǎo)了360運(yùn)維體系的建設(shè),目前同時(shí)負(fù)責(zé)360私有云、公有云的工作。
51CTO:請(qǐng)您概述360云平臺(tái)將運(yùn)維服務(wù)產(chǎn)品化的歷程。
孔德亮:傳統(tǒng)的運(yùn)維模式已經(jīng)不能適應(yīng)現(xiàn)在互聯(lián)網(wǎng)的速度,運(yùn)維工作“臟、累、苦”,為了改變這種現(xiàn)狀360運(yùn)維工作經(jīng)歷了工具化、自動(dòng)化、平臺(tái)化、產(chǎn)品化的幾個(gè)階段。前三個(gè)階段更多是解決運(yùn)維自身的痛點(diǎn)。產(chǎn)品化是為了更好的幫助運(yùn)維、開發(fā)、測(cè)試、運(yùn)營(yíng)實(shí)現(xiàn)整體的自動(dòng)化,將復(fù)雜的技術(shù)問題簡(jiǎn)單化,把技術(shù)難題轉(zhuǎn)化為鼠標(biāo)的滑動(dòng)點(diǎn)擊。幫助360的業(yè)務(wù)線縮短研發(fā)周期,降低運(yùn)維成本。同時(shí)也給運(yùn)維團(tuán)隊(duì)更大得發(fā)展空間
51CTO:移動(dòng)應(yīng)用開發(fā)的周期非常短暫,為使開發(fā)的應(yīng)用快速上線,開發(fā)團(tuán)隊(duì)肯定會(huì)不同程度依賴各種云技術(shù)。請(qǐng)您具體談一下,云計(jì)算從哪些方面影響著移動(dòng)應(yīng)用開發(fā)?
孔德亮:我覺得這個(gè)問題從移動(dòng)應(yīng)用開發(fā)常見的痛點(diǎn)來著手分析比較合適
1、成本問題
孵化階段投入較少,導(dǎo)致爆發(fā)階段資源跟不上,后期活躍度下降資源浪費(fèi)問題 。移動(dòng)應(yīng)用有自己的生命周期,云計(jì)算能夠根據(jù)移動(dòng)業(yè)務(wù)的發(fā)展隨時(shí)增減服務(wù)器,靈活升降主機(jī)配置,按照需求增減帶寬,基于熱度開關(guān)服務(wù)區(qū)域,并通過智能DNS進(jìn)行快速切換,如果移動(dòng)應(yīng)用開發(fā)者能夠在開發(fā)階段從架構(gòu)體系上實(shí)現(xiàn)功能模塊的解耦和去狀態(tài)化等前期規(guī)劃,基于當(dāng)前主流云計(jì)算服務(wù)分鐘級(jí)的擴(kuò)容性能,完全能夠滿足請(qǐng)求量飛速爆發(fā)時(shí)候的動(dòng)態(tài)擴(kuò)展,同時(shí)由于云計(jì)算大多采用按需付費(fèi),按量扣費(fèi)的模式,對(duì)移動(dòng)應(yīng)用的前、中、后期的資源投入也達(dá)到一個(gè)相對(duì)經(jīng)濟(jì)的狀態(tài)。
2、效率問題
開發(fā)團(tuán)隊(duì)在拼命實(shí)現(xiàn)產(chǎn)品提出的需求的同時(shí),可以很少或者幾乎不去考慮諸如消息隊(duì)列服務(wù),消息推送服務(wù),短信通知服務(wù),郵件通知服務(wù),內(nèi)容加速服務(wù)等的問題,借助成熟云計(jì)算平臺(tái)的技術(shù)成果靈活使用,穩(wěn)定性、易用性都比開發(fā)者自己搭建速度要快。讓開發(fā)者專注于實(shí)現(xiàn)業(yè)務(wù)邏輯從而縮短開發(fā)周期,避免錯(cuò)過市場(chǎng)機(jī)會(huì)
3、服務(wù)質(zhì)量問題
移動(dòng)應(yīng)用開發(fā)的特點(diǎn)要求網(wǎng)絡(luò)質(zhì)量相對(duì)優(yōu)質(zhì),智能CDN能選擇最近訪問,監(jiān)測(cè)用戶訪問性能等需求;另外,要求相對(duì)成熟的系統(tǒng)級(jí)、服務(wù)級(jí)、接口級(jí)的監(jiān)控和報(bào)警,能夠?qū)崿F(xiàn)準(zhǔn)實(shí)時(shí)的日志傳輸分析體系,這些技術(shù)在業(yè)務(wù)初創(chuàng)期完全可以直接使用云上提供的各種服務(wù),在產(chǎn)品穩(wěn)定后再做好對(duì)應(yīng)的業(yè)務(wù)邏輯層面的監(jiān)控分析。
51CTO:您說過,在整個(gè)移動(dòng)產(chǎn)品開發(fā)、運(yùn)營(yíng)的過程中,運(yùn)維是基石。那么業(yè)務(wù)團(tuán)隊(duì)借助360云平臺(tái),能夠得到哪些支撐和保障?我們主要采用了哪些技術(shù)來實(shí)現(xiàn)?
孔德亮:我們?yōu)闃I(yè)務(wù)團(tuán)隊(duì)提供的服務(wù)大致體現(xiàn)在以下幾個(gè)方面。
1.資源保障
360云平臺(tái)從多個(gè)層面確保不同等級(jí)用戶能夠獲取合理有效的資源,首先,我們有一套不斷成熟的算法來評(píng)估產(chǎn)品在云平臺(tái)上的服務(wù)等級(jí),基于不同的服務(wù)等級(jí),我們提供諸如虛擬主機(jī)超賣率,機(jī)房災(zāi)備級(jí)別,資源儲(chǔ)備率,工單任務(wù)流響應(yīng)時(shí)間,報(bào)警響應(yīng)等不同級(jí)別的服務(wù)。
2.信息整合
360云平臺(tái)實(shí)現(xiàn)了從機(jī)房,機(jī)架,交換機(jī),物理服務(wù)器,虛擬服務(wù)器,服務(wù)器承載功能角色,到運(yùn)維人員,開發(fā)人員,測(cè)試人員等產(chǎn)品線關(guān)聯(lián)關(guān)系的維護(hù)。這為后面我們一系列的智能分析和報(bào)警監(jiān)控等服務(wù)提供了穩(wěn)定豐富的數(shù)據(jù)來源
3.集群管理
a.軟件環(huán)境,團(tuán)隊(duì)工程師針對(duì)所有常用軟件和公司內(nèi)部產(chǎn)出的軟件,實(shí)現(xiàn)了360定制軟件倉(cāng)庫,自動(dòng)封裝,實(shí)時(shí)同步,并為軟件倉(cāng)庫封裝了基于http的搜索服務(wù)更方便的檢索信息。
b.命令調(diào)度,我們封裝了salt-stack的命令模型,實(shí)現(xiàn)命令發(fā)布的快速響應(yīng)。并實(shí)現(xiàn)了串行、并行、串行阻塞、串行非阻塞等模式,針對(duì)不同的運(yùn)維需求使用不同的調(diào)度工具。
c.配置管理,我們使用了puppet作為主要的管控工具,將用戶常用的核心文件通過puppet作為分發(fā)工具,引入變量或者域名DNS解析等模式來將各種有狀態(tài)的資源無狀態(tài)化。充分利用puppet的功能,配置管理工作支持灰度,***限度減少誤操作的可能。另外基于zookeeper開發(fā)的Qconf工具也大量推廣到開發(fā)和運(yùn)維工作中將機(jī)器的配置信息保存在zookeeper的目錄節(jié)點(diǎn)中,配置變更讓訂閱者動(dòng)態(tài)獲取,解決集中管理和動(dòng)態(tài)更新的問題。
運(yùn)維支撐和保障工作有很多,比如日志收集,故障處理和切換,機(jī)器監(jiān)控,值班系統(tǒng),工單系統(tǒng)等等,我們也都有很多想法和實(shí)踐的經(jīng)驗(yàn),就不一一列舉了
51CTO:結(jié)合您的實(shí)際經(jīng)歷,您認(rèn)為目前云計(jì)算平臺(tái)架構(gòu)運(yùn)維面臨的挑戰(zhàn)是什么?您的技術(shù)團(tuán)隊(duì)是如何應(yīng)對(duì)的?
孔德亮:任何技術(shù)平臺(tái)都是一個(gè)成功產(chǎn)品的基石。我們做的很多技術(shù)方案是為了提供一個(gè)高效穩(wěn)定,能夠?yàn)楫a(chǎn)品的成功提供一條高速通道。但是生態(tài)環(huán)境在變化,現(xiàn)在都再提互聯(lián)網(wǎng)+和萬物互聯(lián),這種生態(tài)和產(chǎn)品形態(tài)的變化勢(shì)必也會(huì)引發(fā)技術(shù)創(chuàng)新。技術(shù)團(tuán)隊(duì)需要有敏銳地嗅覺,提早準(zhǔn)備。
51CTO:您的技術(shù)分享將對(duì)移動(dòng)開發(fā)者帶來哪些幫助和啟示?
孔德亮:本次分享將結(jié)合360私有云建設(shè)經(jīng)驗(yàn)。介紹如何進(jìn)行集群管理、資源動(dòng)態(tài)調(diào)配、故障災(zāi)備等經(jīng)驗(yàn);同時(shí)結(jié)合移動(dòng)產(chǎn)品運(yùn)維經(jīng)驗(yàn),介紹如何為開發(fā)者提供輕量化運(yùn)行環(huán)境,為開發(fā)者助力。
來自谷歌、騰訊、京東、360、新浪微博、樂蜂網(wǎng)、魅族等企業(yè)的技術(shù)專家匯聚一堂,只為助你打開實(shí)現(xiàn)夢(mèng)想的那一扇窗。盛會(huì)虛位以待,只等你快馬加鞭!