【51CTO.com原創(chuàng)稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運(yùn)維技術(shù)峰會(huì)在北京召開。來自全球企業(yè)的技術(shù)精英匯聚北京，暢談軟件技術(shù)前沿，共同探索運(yùn)維技術(shù)的新邊界。而在本次大會(huì)上，除了眾星云集的主論壇環(huán)節(jié)，12場(chǎng)分論壇更是各具特色，在“容器下的AIOps”分論壇上，來自阿里巴巴集團(tuán)監(jiān)控負(fù)責(zé)人程超就自動(dòng)化到智能化的阿里監(jiān)控發(fā)展之路主題進(jìn)行了精彩演講。

阿里巴巴集團(tuán)監(jiān)控負(fù)責(zé)人程超

程超自2008年開始加入阿里巴巴，接手的***個(gè)項(xiàng)目就是CMDB，這一代CMDB運(yùn)營到現(xiàn)在已經(jīng)快十年了，中間經(jīng)歷了很多的運(yùn)維平臺(tái)的迭代。程超最初以開發(fā)者的角色進(jìn)入阿里巴巴，最近幾年，主要在做監(jiān)控平臺(tái)的開發(fā)和運(yùn)營工作。 

阿里巴巴監(jiān)控系統(tǒng)回顧

據(jù)程超介紹，阿里巴巴最開始的監(jiān)控系統(tǒng)也是開源的，開源的監(jiān)控系統(tǒng)***的問題就是不能實(shí)現(xiàn)規(guī)模化，一旦規(guī)模上來了，就會(huì)碰到各種各樣的問題。2009年，程超的團(tuán)隊(duì)放棄了開源系統(tǒng)，自己搭建一套監(jiān)控系統(tǒng)。***代自研的監(jiān)控系統(tǒng)大概支撐了阿里巴巴五年左右的發(fā)展，直到今天還有一部分是在使用著，這套監(jiān)控系統(tǒng)***的功勞是解決了量的問題，因?yàn)樗辛擞虻母拍睢?/p>

如今阿里巴巴使用的監(jiān)控平臺(tái)是***一代，也是阿里巴巴最重要的一代監(jiān)控平臺(tái)，它有很多不一樣的地方。以前阿里巴巴的存儲(chǔ)是使用的Hbase現(xiàn)在的存儲(chǔ)正在向HiTSDB推進(jìn)。與常規(guī)的監(jiān)控系統(tǒng)不同，阿里巴巴自研的架構(gòu)是自上向下的，傳統(tǒng)的監(jiān)控系統(tǒng)是自下向上的。

程超表示，現(xiàn)在阿里巴巴的監(jiān)控規(guī)模是內(nèi)部有90+的租戶，租戶包括淘寶、盒馬、優(yōu)酷等阿里巴巴的不同業(yè)務(wù)，監(jiān)控系統(tǒng)的機(jī)器數(shù)量是4000多臺(tái)虛擬機(jī)，這是去年雙十一的量。

阿里今天的監(jiān)控系統(tǒng)

在簡單回顧過去的幾代監(jiān)控系統(tǒng)之后，程超講述了現(xiàn)在阿里的監(jiān)控系統(tǒng)。他認(rèn)為做了比較重要的幾件事情：首先，我們做了Zero-Copy，程超認(rèn)為設(shè)計(jì)監(jiān)控系統(tǒng)的原則是所有在機(jī)器上的處理要放到中心來，而不要在終端機(jī)器上直接做處理。當(dāng)機(jī)器監(jiān)控系統(tǒng)在執(zhí)行監(jiān)控任務(wù)時(shí)，其實(shí)很容易出現(xiàn)問題，例如CPU的抖動(dòng)會(huì)影響到監(jiān)控效果，這種問題真實(shí)出現(xiàn)過，所以程超的監(jiān)控系統(tǒng)時(shí)用帶寬換CPU，不做任何處理甚至是壓縮。其次，我們借鑒了Akka做了自己的框架，整個(gè)框架的設(shè)計(jì)理念比較先進(jìn)，當(dāng)然也經(jīng)過了不斷的調(diào)試和改進(jìn)，才能適應(yīng)今天的需求。

    程超又強(qiáng)調(diào)了Agent的部分。他介紹道，在Agent上，阿里巴巴做了很多的事情。我們?cè)谧鯝gent之初，需要接入各種各樣的系統(tǒng)，因?yàn)楸O(jiān)控系統(tǒng)是在業(yè)務(wù)系統(tǒng)之后才搭建的，不是先有監(jiān)控規(guī)則，大家都遵守。現(xiàn)實(shí)的情況是我要表達(dá)一個(gè)日期，就有非常多的可能性，今天我們兼容了七種其實(shí)還有更多，那些更不常用，日期的格式。還有目錄也是各種各樣的寫法。程超強(qiáng)調(diào)，Agent需要適應(yīng)業(yè)務(wù)，因?yàn)檎椎谋O(jiān)控系統(tǒng)最最核心的價(jià)值是保證業(yè)務(wù)的穩(wěn)定性。

    為什么阿里巴巴以業(yè)務(wù)作為重點(diǎn)呢？程超表示，之前提到的HiTSDB還沒有做完整，正在進(jìn)行開發(fā)中。阿里巴巴實(shí)現(xiàn)了自己的MQL，但是使用HBASE是不能發(fā)揮MQL的價(jià)值，但是阿里巴巴擁有強(qiáng)大的HBASE的開發(fā)和運(yùn)維團(tuán)隊(duì)，這幾年的 使用都非常穩(wěn)定，沒有出現(xiàn)過任何問題。那么，阿里巴巴為何要切換到HiTSDB呢？程超解釋，HBASE有些事情是不能完成的，比如各個(gè)緯度的靈活組合等，所以阿里巴巴正在切換HiTSDB。HiTSDB是阿里巴巴基于openTSDB規(guī)范實(shí)現(xiàn)的一個(gè)數(shù)據(jù)庫，為了適應(yīng)監(jiān)控大規(guī)模系統(tǒng)，阿里巴巴也正在努力，現(xiàn)在HiTSDB還在不斷的優(yōu)化過程中，預(yù)計(jì)在今天的雙十一之前，HiTSDB切換可以完成。  

通過上圖的PPT示意，程超向大家闡述，這個(gè)示意圖涵蓋了整個(gè)監(jiān)控平臺(tái)，開發(fā)者的初衷是希望監(jiān)控平臺(tái)下面的這些技術(shù)組件可以統(tǒng)一。當(dāng)今，在阿里巴巴內(nèi)部有很多套監(jiān)控系統(tǒng)，程超***的這套則是規(guī)模***，在垂直領(lǐng)域***價(jià)值的。在圖中，程超把團(tuán)隊(duì)花了***的精力在做的計(jì)算框架部分被標(biāo)成紅色，計(jì)算框架在整個(gè)的結(jié)構(gòu)里面是占了非常大的比重，包括容災(zāi)，性能等諸多方面業(yè)務(wù)的建立有賴于大量人力物力的采用。

他還向大家介紹，阿里的監(jiān)控系統(tǒng)在計(jì)算、報(bào)警通知方面也有所建樹。報(bào)警和通知這兩項(xiàng)，幾乎是每個(gè)監(jiān)控系統(tǒng)都要碰到的。因?yàn)橐?guī)模大了以后，報(bào)警和通知變得更有意義。

最初阿里巴巴只有一套監(jiān)控系統(tǒng)，程超的團(tuán)隊(duì)在摸索中前進(jìn)，最初認(rèn)為沒有價(jià)值的東西，待監(jiān)控系統(tǒng)的規(guī)模升級(jí)之后，也變得更有意義。報(bào)警和通知系統(tǒng)對(duì)于監(jiān)控系統(tǒng)來說也是獨(dú)立而至關(guān)重要的。A監(jiān)控系統(tǒng)和B監(jiān)控系統(tǒng)***的不同就是針對(duì)的領(lǐng)域，相信到整個(gè)的計(jì)算領(lǐng)域真正普及了報(bào)警功能的時(shí)候就會(huì)大同小異。程超在培訓(xùn)時(shí)使用微信、短信、郵件、釘釘，這樣做的好處就是在通知那一層還能做很多事情，比如說報(bào)警、風(fēng)暴的問題和在監(jiān)控系統(tǒng)里面很難解決的問題，當(dāng)我們嘗試把這一層切出來以后，有機(jī)會(huì)在監(jiān)控系統(tǒng)之外，還能做出一些價(jià)值。

程超認(rèn)為，在今天的監(jiān)控系統(tǒng)領(lǐng)域，大家對(duì)業(yè)務(wù)的關(guān)心還是太少，因?yàn)楹芏嘧霰O(jiān)控系統(tǒng)的人，原來從事的是運(yùn)維業(yè)務(wù)，或者是開發(fā)業(yè)務(wù)，他們有種天然特性，就是認(rèn)為監(jiān)控系統(tǒng)只是為了解決運(yùn)維的問題。這樣的認(rèn)知和格局是不夠的。我們看到，在（阿里巴巴）第二代的架構(gòu)里面，那個(gè)時(shí)候做出來的監(jiān)控系統(tǒng)，只是在解決運(yùn)維的問題。然而在去年，阿里巴巴解散了整個(gè)運(yùn)維團(tuán)隊(duì)。如果不做這個(gè)徹底的改變，所謂的Devops只是說說而已。

運(yùn)維團(tuán)隊(duì)解散以后，很多平臺(tái)層面的、工具層面的，自動(dòng)化的、智能的都會(huì)逐步跟進(jìn)，沒有了運(yùn)維的保姆式的服務(wù)，就迫使工具團(tuán)隊(duì)和開發(fā)團(tuán)隊(duì)必須演進(jìn)出一套用戶模型，我們希望把這個(gè)模型做成細(xì)分級(jí)、全方位、全鏈路、縱向的模型。縱向模型指的是我們的網(wǎng)絡(luò)質(zhì)量、應(yīng)用、線路指標(biāo)、APM、網(wǎng)絡(luò)、DIC，再到數(shù)據(jù)，希望能用這個(gè)模型把它們串聯(lián)起來、結(jié)合起來，這就是我們監(jiān)控系統(tǒng)未來的建設(shè)方向。 

    本次WOT峰會(huì)講師演講稿件由51CTO采編整理，如欲了解更多，敬請(qǐng)登錄www.ekrvqnd.cn進(jìn)行查看。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】