阿里云回應大規模故障:運維操作失誤 將認真改進
6月28日早間消息,今日凌晨,阿里云官方微博針對昨日出現的大規模故障問題作出官方回應。聲明稱,在運維上的一個操作失誤,導致一些客戶訪問阿里云官網控制臺和使用部分產品功能出現問題。
聲明復盤故障原因,稱系工程師團隊在上線一個自動化運維新功能中,執行了一項變更驗證操作。這一功能在測試環境驗證中并未發生問題,上線到自動化運維系統后,觸發了一個未知代碼bug。錯誤代碼禁用了部分內部IP,導致部分產品訪問鏈路不通。
6月27日下午,眾多網友在微博反饋,稱阿里云控制臺訪問出現故障,后臺登錄不上,包括圖片服務也已經掛掉。阿里云官網的部分管控功能,及MQ、NAS、OSS等產品的部分功能也出現訪問異常現象,部分用戶反饋稱手機端和PC端均無法訪問。隨后阿里云在官網發布公告稱,部分管控功能出現訪問異常,受影響業務正逐漸恢復正常。
以下為阿里云故障官方回復原文:
6月27日阿里云故障說明
6月27日下午,我們在運維上的一個操作失誤,導致一些客戶訪問阿里云官網控制臺和使用部分產品功能出現問題,引發了大員吐槽。故障于北京時間2018年6月27日,16:21左右開始,16:50分開始陸續恢復。
經過緊急技術復盤,故障原因如下:
當天下午,工程師團隊在上線一個自動化運維新功能中,執行了一項變更驗證操作。這一功能在測試環境驗證中并未發生問題,上線到自動化運維系統后,觸發了一個未知代碼bug。錯誤代碼禁用了部分內部IP,導致部分產品訪問鏈路不通。后續人工介入后,工程師團隊快速定位問題進行了恢復。
受影響范圍包括阿里云官網控制臺,以及MQ、NAS、OSS等產品功能。對于這次故障,沒有借口,我們不能也不該出現這樣的失誤!我們將認真復盤改進自動化運維技術和發布驗證流程,敬畏每一行代碼,敬畏每一份托付。
阿里云計算有限公司
2018年6月27日