好久沒遇到故障了，以至于技術老大在公司會議上，都成了隱形的存在，除了匯報進度一無是處，這是不能容忍的。

只有有問題才能驅動團隊的成長。風平浪靜的時候，公司領導以為你做的不好，沒有暴露風險：既然已經做的這么完美了，要你何用。

[[324997]]

所以做的太好了，對團隊來說未必是一件好事---尤其是對于有受迫害妄想癥的公司來說。

上面這個截圖，我已經見過很多次了，展示了一些無奈的現實。對于團隊來說，也沒啥兩樣。

 

及時制造問題，是一個合格的管理者應盡的責任。老板罵你一頓，然后接下來繼續倚仗你;比老板對你客客氣氣，然后接下來扔你進火坑，要妙的多。

打是親，罵是愛，客客氣氣要完蛋。

這就是劣幣驅逐良幣，公司管理要避免出現這種情況。但我們今天的主題不是這，而是一個P1故障。

這不，昨天下午，公司領導的電話就被打爆了：

“商戶的賬號都登陸不上了，單點登錄崩了么?”

“這次影響面很大，用戶什么都操作不了了，系統要完玩么?”

“抓緊處理!出了這么大的事，要協調起來!”

“查一下操作記錄!是不是有人刪庫。”

事情很大，有客戶直接call了老板。圣旨層層傳遞，終于到了苦逼的研發部。

躲在角落里的我，一臉蒙圈。趕緊使用測試賬號登錄后臺。

您輸入的密碼錯誤，請稍后再試。

這也難怪有人想到了刪庫。最近互聯網戾氣嚴重，頻繁出現玉石俱焚的事件。在各主管毫無掩飾的壓迫和剝削下，這玩意一不小心就中彩了。

所有人都手忙腳亂的忙活起來。技術好的，把終端拖拽到大屏顯示器上，噼里啪啦打著命令行;權利大的，叉著胳膊抱在胸前，唾沫四濺指點江山;脾氣爆的，找幾個管事的負責人劈頭蓋臉一頓臭罵。

光討論組就拉了十幾個，信息鋪天蓋地而來。

到了這個時候，保持冷靜是非常難能可貴的品質。作為領導，要控制自己瞎指揮的本事，少call電話少@人，保持基本的事件追蹤即可。排查人會因為回復你這些亂起八糟的指令，錯過了問題排查的黃金時段。

不要到最后過足了領導的癮，領教了老板的狠。

這不，直到10分鐘后，才產生第一條有用的信息。

有同學排查發現，所有的用戶密碼都被重置了。密碼被重置的商戶，重置時間都出奇的一致。

這也是得益于在數據庫表中加了updateTime這個字段，證明操作是由業務發起的，而不是DBA人為修改的。

DBA篡改的數據，只能到binlog里去找記錄，而不會體現在最后更新時間上。

從這一點也可以說明，要是真有人搞事的話，不是一個DBA，而是一個程序員。

這個程序員不是通過update語句進行的修改，而是直接調用的程序。

大多數人直接想到了陰謀論，因為最近加班太狠了，又不給錢，容易觸發到某個人敏感的神經。

能這么想，證明領導們還是有點自知之明的。

接下來，又有另外一個發現：所有的密碼被重置之后，密碼都是不相同的。

這就更加神奇了。如果是程序員或者DBA寫的update語句，那么重置密碼應該是一致的才對。而現在，用戶密碼都是隨機的，難道是鬼干的么?

通過員工的挨個調研，發現在故障的這段時間里，并沒有代碼的發版行為，可以排除因為功能迭代這個影響因素。再說了，這個影響因素也不能亂報，容易讓老板對員工的產出產生懷疑：怎么過了這么長時間連個版本都沒更新，一TM更新就出問題了。

那大概率是外部搞鬼了。可能是有人在攻擊。

很久之前，老板被人安利后，一拍腦袋，決定購買某大廠的安全服務。技術調研之后，發現并沒有什么卵用，于是婉拒大廠。

正打算放棄的時候，服務就出問題了。流量和漏洞鋪天蓋地而來，最終老老實實買了安全檢測和安全防護。

怎么就這么巧。

還有一次，有個小伙來應聘，說你們的系統千瘡百孔。技術總監認為他在吹牛皮，無視之，水都沒喝就讓走了。結果，在晚上服務受到了瘋狂的攻擊，接近癱瘓。

怎么就這么巧。

百因必有果...

但這種得罪人的事，公司沒少干，一時間還真想不出是得罪了哪位大神。領導們托著下巴冥思苦想，不得要領。要是捉不住這個攻擊者，這鍋就得有領導親自背了。

安全的事情，還是得專業的人來做，該安全團隊的人出馬上陣了。

黑Term一開，機械鍵盤一抖，鍵盤和屏幕就晃晃悠悠滾動起來。一個主機，三個顯示器，字符流淌如優美的生活。

這個時候，我相信安全人員的腦子是懵逼的。

因為他發現，事故，是由他自己引起的。

昨天，他剛剛使用了一款安全掃描引擎，然后，他在引擎中增加了一個安全掃描邏輯加弱口令驗證檢測功能，這個邏輯在執行期間，一直嘗試登錄，結果達到了重試次數上限，最終觸發了bug。搞死了所有用戶。

心病還須心藥醫，解鈴還須系鈴人。知道了原因，措施就好辦。

安全工程師扭扭捏捏把原因告訴了面色逐漸變冷的領導，心想這P1的鍋是沒得跑了。

領導心想。如果不是他平素里表現良好，盡職盡責，除了給他個鍋帶，還要給他搞頂帽子，抓個典型。

后續的事情就容易多了，DBA從binlog里找到受影響的記錄，然后整理成SQL語句，然后瀟灑的一甩手，問題就OK了。

同時，這也證明了系統的脆弱性。假如安全工程師是競爭對手的人，那事情就復雜的多了，所以安全還需要繼續建設。背鍋的同志，將功補過吧。

由于問題發現及時，并未引起較大恐慌。這極大的體現了組織的協調能力，和應對緊急事件的響應能力。

我相信，領導一定會在公司會議上大放光彩。從接下來幾天他紅撲撲的臉上，我得到了驗證。

作者簡介：小姐姐味道 (xjjdog)，一個不允許程序員走彎路的公眾號。聚焦基礎架構和Linux。十年架構，日百億流量，與你探討高并發世界，給你不一樣的味道。