數(shù)據(jù)中心最怕什么?

停電、網(wǎng)絡(luò)受損…

數(shù)據(jù)中心運(yùn)維人員最怕什么?

宕機(jī)、不常規(guī)故障、升級擴(kuò)容…

隨著數(shù)據(jù)中心建設(shè)的規(guī)模不斷擴(kuò)大，新技術(shù)迭代更新，承載數(shù)據(jù)中心業(yè)務(wù)的網(wǎng)絡(luò)變得異常復(fù)雜。為了適應(yīng)數(shù)據(jù)中心業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)也在不斷更新與變化，給運(yùn)維工作帶來了極大的難度。數(shù)據(jù)中心宕機(jī)事故也難免發(fā)生，這不僅增加了數(shù)據(jù)中心運(yùn)維人員的工作量，更重要的是給數(shù)據(jù)中心帶來了巨大的損失，就連全球知名的互聯(lián)網(wǎng)巨頭也經(jīng)常享受這般“待遇”。

互聯(lián)網(wǎng)巨頭宕機(jī)不斷,運(yùn)維工作成難題

3月3日凌晨，阿里云出現(xiàn)宕機(jī)故障，導(dǎo)致購買阿里云服務(wù)的企業(yè)網(wǎng)站或互聯(lián)網(wǎng)公司APP無法正常使用。一大波程序員、運(yùn)營和運(yùn)維不得不從被窩里爬起來干活。針對阿里云此次宕機(jī)，58高級架構(gòu)師沈劍稱，事故持續(xù)了3個小時左右，事后觀察了2個小時。

5月3日凌晨3點43分開始，微軟Azure在全球范圍內(nèi)出現(xiàn)了大面積宕機(jī)，整個過程持續(xù)了將近2個小時，直到5點30分才完全恢復(fù)。受Azure宕機(jī)影響，包括Microsoft 365，Dynamics和DevOps在內(nèi)的微軟主要服務(wù)均出現(xiàn)使用問題。

6月3日凌晨2點58分開始，谷歌在全球范圍內(nèi)遭遇了大規(guī)模中斷，包括Gmail、YouTube和Google Drive在內(nèi)基于谷歌云架構(gòu)服務(wù)的諸多谷歌服務(wù)均受到影響。用戶訪問谷歌服務(wù)出現(xiàn)各種錯誤提醒，并且阻止用戶訪問電子郵件、上傳YouTube視頻等。

6月25日消息，亞馬遜在官網(wǎng)證實云計算服務(wù)出現(xiàn)了宕機(jī)，導(dǎo)致部分網(wǎng)絡(luò)用戶和多個AWS區(qū)域的網(wǎng)絡(luò)連接受到了影響。出現(xiàn)故障的節(jié)點在AWS美東1區(qū)，共計33個服務(wù)受到影響，其中9個處于完全中斷狀態(tài)。

宕機(jī)事故頻發(fā),運(yùn)維難度“更上一層樓”

一次次宕機(jī)事件證明了數(shù)據(jù)中心運(yùn)維工作的重要性，但似乎不能避免。如今隨著科技的進(jìn)步萬物互聯(lián)時代的到來，數(shù)據(jù)中心作為重要基礎(chǔ)設(shè)施發(fā)揮著重要作用，雖然數(shù)據(jù)中心在國內(nèi)的發(fā)展只有十多年的時間，但已經(jīng)從只有UPS、空調(diào)和IT設(shè)備的普通機(jī)房時代，進(jìn)入到囊括互聯(lián)網(wǎng)、大數(shù)據(jù)、AI、云服務(wù)等全方位服務(wù)、動輒擁有數(shù)萬機(jī)柜，自然冷、風(fēng)墻、水下數(shù)據(jù)中心、液冷服務(wù)器等新技術(shù)不斷被創(chuàng)造和應(yīng)用的新時代。這樣一來，運(yùn)維管理面臨著更大的挑戰(zhàn)，運(yùn)維難度也“更上一層樓”。

首先，超大規(guī)模的數(shù)據(jù)中心帶來的人員、組織和效率的變化。以前萬平米以內(nèi)的數(shù)據(jù)中心，人工巡檢一次2-4小時，現(xiàn)在數(shù)十萬平米，需要更多的運(yùn)維人員分布在不同的責(zé)任區(qū)，增加了管理的難度和成本;其次，電壓等級提高，安全風(fēng)險增加。以往運(yùn)維人員接觸的是低壓，現(xiàn)在供電設(shè)備、發(fā)電機(jī)、冷機(jī)都是高壓供電，維護(hù)安全要求提升;此外，規(guī)模集中，導(dǎo)致風(fēng)險集中，事故影響更大。例如上文中談到的數(shù)據(jù)中心宕機(jī)事故，導(dǎo)致全球大面積的服務(wù)和應(yīng)用中斷，損失慘重，因此運(yùn)維管理的壓力超前。

減少人為失誤,提升運(yùn)維管理的專業(yè)技能

據(jù)數(shù)據(jù)調(diào)查顯示，數(shù)據(jù)中心的宕機(jī)事故70%是由人為失誤造成的，因此在數(shù)據(jù)中心規(guī)模不斷擴(kuò)大的同時，運(yùn)維人員要通過提升自身的技能和專業(yè)水平以應(yīng)對數(shù)據(jù)中心意外事件的發(fā)生：

• 建立一套完備的人員技能評價體系，從多方面考核運(yùn)維人員技能能力，能夠有效幫助運(yùn)維人員提高運(yùn)維技能，促進(jìn)運(yùn)維人員主動學(xué)習(xí)自動提升。
• 運(yùn)維經(jīng)驗在線學(xué)習(xí)，建立運(yùn)維經(jīng)驗庫，實現(xiàn)在線運(yùn)維經(jīng)驗共享交流平臺，提供運(yùn)維知識在線實習(xí)和學(xué)習(xí)的渠道。
• 實操環(huán)境在線模擬，提供運(yùn)維模擬實踐操作環(huán)境，有效隔離操作風(fēng)險，幫助快速提高運(yùn)維實際水平。
• 理論技能在線評測，依托海量IT云平臺組件題庫，定期考核，隨機(jī)出題，實現(xiàn)運(yùn)維理論能力的在線實時自動測評。
• 實操技能在線測評，構(gòu)建輕量化在線運(yùn)維操作、在線編程環(huán)境，實現(xiàn)運(yùn)維操作技能與研發(fā)技能的在線實時自動評測。
• 通過自動評測提升效率，實現(xiàn)運(yùn)維理論技能與實操技能的在線科學(xué)自動評測，提高評測效率，確保能力客觀公正的體現(xiàn)。

彌補(bǔ)人工運(yùn)維不足,智能運(yùn)維應(yīng)運(yùn)而生

如今，數(shù)字化時代已經(jīng)到來，數(shù)據(jù)中心規(guī)模和容量都在成倍增長，隨之而來的運(yùn)維管理復(fù)雜度和難度也越來越大，從腳本運(yùn)維、工具運(yùn)維到平臺運(yùn)維演進(jìn)至今，人力已接近極限，隨即智能運(yùn)維應(yīng)運(yùn)而生。如今更多的數(shù)據(jù)中心企業(yè)諸如騰訊、華為、京東等開始加大研發(fā)力度投入到智能運(yùn)維的浪潮中來，將人工智能與運(yùn)維結(jié)合，基于已有運(yùn)維數(shù)據(jù)(日志、監(jiān)控信息、應(yīng)用信息等)，通過機(jī)器學(xué)習(xí)的方法來提升運(yùn)維效率，從而逐步取代人工的運(yùn)維。相信未來數(shù)據(jù)中心將會越來越智能化。