2015年5月28日，黑色星期四，滬指一日連續(xù)下破整數(shù)關(guān)口，上證指數(shù)收盤下跌6.5%，深成指下跌6.19%，創(chuàng)業(yè)板下跌5.39%，創(chuàng)4個月來單日***跌幅，全國股民人均賠兩萬！正當(dāng)股民們心灰意冷，打算出去看看世界的時候，攜程掛了！

從11：09分開始，到晚上22：45分恢復(fù)，此次攜程網(wǎng)站崩潰時間共持續(xù)了近12個小時。事后攜程的官網(wǎng)解釋：經(jīng)攜程技術(shù)排查，確認(rèn)此次事件是由于員工錯誤操作導(dǎo)致。由于攜程涉及的業(yè)務(wù)、應(yīng)用及服務(wù)繁多，驗(yàn)證應(yīng)用與服務(wù)之間的功能是否正常運(yùn)行，花了較長時間。

從攜程的聲明來看，導(dǎo)致此次事件的直接原因是員工誤操作造成，但有一個現(xiàn)象非常形象地描述了目前IT運(yùn)維的真實(shí)狀況：

系統(tǒng)出現(xiàn)故障后→

1、業(yè)務(wù)使用者***發(fā)現(xiàn)應(yīng)用受到影響，開始抓狂和投訴。

2、繼而運(yùn)營監(jiān)控的各種大屏幕會出現(xiàn)流量的異樣圖、系統(tǒng)告警圖。

3、***輪到攻城獅們手忙腳亂進(jìn)行troubleshooting，挨個設(shè)備的各種telnet/ssh抓取信息。

4、可以定位故障的，對癥解決；不明所以的，嘗試重新啟動設(shè)備或者切換備份方案。

5、提交故障報告、問責(zé)、致歉、危機(jī)公關(guān)等等

目前的IT運(yùn)維系統(tǒng)，可以查看鏈路狀態(tài)，監(jiān)控設(shè)備資源利用率，故障告警，但從業(yè)務(wù)的角度來說，還缺乏一種手段對這些數(shù)據(jù)進(jìn)行系統(tǒng)性的分析，呈現(xiàn)出更明確更有意義的結(jié)論，以便在突發(fā)事件時，啟動預(yù)案、快速定位和給出指導(dǎo)性建議。

攜程事件再次向我們表明了新常態(tài)下，系統(tǒng)可靠性的重要作用，據(jù)統(tǒng)計，這次宕機(jī)給攜程網(wǎng)造成的直接損失超過數(shù)百萬美元，股價暴跌11%。云計算、大數(shù)據(jù)、互聯(lián)網(wǎng)+ 的***繁榮，讓IT運(yùn)維面臨***的挑戰(zhàn)，如何及時全面的掌握網(wǎng)絡(luò)、主機(jī)、數(shù)據(jù)庫、存儲、桌面等各類資源的運(yùn)行情況？如何使我們的運(yùn)維工作未雨綢繆，做到防患于未然呢？

【IT運(yùn)維人員八種痛】

東華網(wǎng)智認(rèn)為，互聯(lián)網(wǎng)+時代，系統(tǒng)化的運(yùn)維管理對企業(yè)有著不可估量的作用，規(guī)模化的IT系統(tǒng)和復(fù)雜的業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行是信息部門的重要職責(zé)，如果發(fā)生故障不能及時準(zhǔn)備定位，引發(fā)業(yè)務(wù)中斷，給企業(yè)帶來的損失是巨大的，同時，企業(yè)IT治理、流程規(guī)范、智能巡檢將有效減少違規(guī)操作、消弭隱患，降低故障發(fā)生機(jī)率。換言之，企業(yè)需要一套清晰、智能化的運(yùn)維管理系統(tǒng)來幫助IT人員提高對整個業(yè)務(wù)系統(tǒng)的把控能力，而東華網(wǎng)智正是致力于精細(xì)化IT服務(wù)管理，幫助企業(yè)建立健全I(xiàn)T運(yùn)維管理體系，實(shí)現(xiàn)IT“監(jiān).管.控”一體化，全面提升IT服務(wù)質(zhì)量。

【東華IT服務(wù)綜合管理解決方案技術(shù)架構(gòu)】

“監(jiān)”之綜合監(jiān)控

對IT基礎(chǔ)架構(gòu)和業(yè)務(wù)系統(tǒng)的實(shí)時監(jiān)控，能夠幫助管理人員準(zhǔn)確定位故障，及時處理問題，并在警戒閾值達(dá)到前，將系統(tǒng)隱患扼殺于搖籃。東華IT綜合監(jiān)控范圍涵蓋機(jī)房動力環(huán)境、網(wǎng)絡(luò)設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間件、虛擬化資源、桌面終端、通用服務(wù)等IT資源的運(yùn)行狀態(tài)及性能，支持SNMP、telnet、SSH、WMI、JMX、JDBC等遠(yuǎn)程非代理監(jiān)測和Agent代理監(jiān)測，根據(jù)管理規(guī)模不同支持分布式采集和集中管理模式，提供7X24不間斷監(jiān)測服務(wù)。系統(tǒng)將復(fù)雜的技術(shù)指標(biāo)、監(jiān)控狀態(tài)等以圖形化方式展現(xiàn)給客戶，支持機(jī)房、辦公區(qū)域、場所的3D可視化展現(xiàn)，大大提高用戶的操作便捷性及工作效率。  

“管”之性能管理

系統(tǒng)不宕機(jī)、應(yīng)用可訪問只是保障業(yè)務(wù)連續(xù)性的入門級要求，在“永遠(yuǎn)在線”的互聯(lián)網(wǎng)+時代，最終用戶的應(yīng)用體驗(yàn)成為關(guān)鍵要素。東華網(wǎng)智強(qiáng)調(diào)“業(yè)務(wù)服務(wù)視角”，分段監(jiān)測業(yè)務(wù)系統(tǒng)的每個過程環(huán)節(jié)，快速解析應(yīng)用問題并將問題范圍定位到具體的應(yīng)用組件，幫助運(yùn)維者實(shí)現(xiàn)對業(yè)務(wù)應(yīng)用問題的監(jiān)測、定位和診斷，達(dá)到先于用戶發(fā)現(xiàn)問題，提前建立緊急預(yù)案，保障業(yè)務(wù)可用性，提高用戶體驗(yàn)。

“控”之流程把控

攜程宕機(jī)的問題最終定位為“員工誤操作”，實(shí)際是流程管控和權(quán)限設(shè)置不當(dāng)，“人為因素”在很多IT事故中不是小概率事件，必須要依賴必要的IT手段將流程僵化再優(yōu)化，將人為因素將至***，操作是否合規(guī)，變更是否合理，訪問是否越權(quán)，數(shù)據(jù)是否備份，一切全部由流程鐵律進(jìn)行約束。東華網(wǎng)智IT運(yùn)維管理系統(tǒng)的目的正是通過建立一套標(biāo)準(zhǔn)的運(yùn)維服務(wù)流程，圍繞事件管理、問題管理、變更管理、配置管理、發(fā)布管理、服務(wù)級別管理等ITIL*** 實(shí)踐，幫助用戶實(shí)現(xiàn)IT運(yùn)維服務(wù)的流程化、規(guī)范化管理，最終讓IT的“精確化”制約人力的“隨機(jī)化”。

5.28攜程的重大故障雖然是一次災(zāi)難，但也為所有的企業(yè)敲響了警鐘，安全生產(chǎn)重于泰山，一個誤操作帶來的可能就是毀滅性的損失。在互聯(lián)網(wǎng)企業(yè)各項(xiàng)業(yè)務(wù)都依賴IT系統(tǒng)的今天，做好IT系統(tǒng)的運(yùn)維管理工作無疑是保障業(yè)務(wù)正常運(yùn)行的核心所在。

專業(yè)的事一定要交給專業(yè)的系統(tǒng)來做，讓5.28事件不再重演，讓企業(yè)長青！