上周微軟曾承認(rèn)Windows Live Hotmail出現(xiàn)故障，導(dǎo)致用戶郵箱被完全清空并且聲稱該問題已經(jīng)解決。日前，微軟詳細(xì)解釋了Hotmail故障的始末，并100%恢復(fù)了丟失數(shù)據(jù)。微軟Hotmail團(tuán)隊(duì)Mike Schackwitz解釋說：“Hotmail服務(wù)器健康度監(jiān)控中有一種方式是通過自動(dòng)化測試進(jìn)行的。我們創(chuàng)建一些不同配置的帳號(hào)，然后使用自動(dòng)化測試進(jìn)行記錄這些帳號(hào)，讓它們模擬正常用戶活動(dòng)和行為，系統(tǒng)會(huì)在遇到錯(cuò)誤時(shí)告警。我們通過腳本批量創(chuàng)建和刪除這些測試帳號(hào)，而刪除測試帳號(hào)的方式是從一組將用戶和新郵件指向正確郵箱地址的目錄服務(wù)器中刪除它的記錄。

在12月30日，我們的一個(gè)腳本代碼意外地將部分真實(shí)用戶的帳號(hào)與測試帳號(hào)一并從目錄服務(wù)器上刪除了。但那些受影響用戶的郵件和文件夾實(shí)際上是沒有 被刪除的，只是他們指向正確郵箱的位置的記錄被刪除了。當(dāng)這些用戶登錄后，系統(tǒng)（因找不到郵箱位置）自動(dòng)為他們創(chuàng)建了新的郵箱，而新的存儲(chǔ)服務(wù)器是不包括 他們之前的郵件和文件夾的。這也就是為什么這些帳號(hào)收到了‘歡迎使用 Hotmail’的初始郵件。”

隨后的1月1日，不斷有用戶向微軟報(bào)告這個(gè)問題，微軟因此開始重視該問題，并且與當(dāng)晚查清了故障根源。“我們***步是恢復(fù)這些用戶在目錄服務(wù)器上的 記錄項(xiàng)（1月2日早晨），然后又合并了故障發(fā)生之初至1月1日早晨之間的新郵件與舊的郵件。這個(gè)過程需要多次執(zhí)行才能獲得所有的帳號(hào)和對應(yīng)的郵件，對于一 些用戶來說，直到5日才完全恢復(fù)。我們在1 月2日完成了16035個(gè)帳號(hào)的合并，并在5日完成了剩下1320名用戶的合并。”

編輯提醒：這件事情再次說明了，運(yùn)維工程師們對線上環(huán)境的腳本一定要慎之又慎！

【編輯推薦】

1. 使用Perl腳本徹底實(shí)現(xiàn)系統(tǒng)管理自動(dòng)化
2. 在Linux下靈活使用expect腳本的小竅門
3. Linux腳本分享：自動(dòng)關(guān)機(jī)與計(jì)算任務(wù)管理