系統(tǒng)故障，對于 DBA或是運(yùn)維人員來說，都是心中永遠(yuǎn)的痛。而避免故障的原則卻是殊途同歸，現(xiàn)列如下，與君共勉。

　　一、變更要能回滾、先在同樣的環(huán)境測試過

　　佛說：每次創(chuàng)傷、都是一次成熟、這便是運(yùn)維人員的真實寫照。從某種意義上講、運(yùn)維是一門經(jīng)驗的學(xué)科、是一門試錯的學(xué)科。沒有做過的東西、總是會給你不期而遇的痛擊，請保護(hù)現(xiàn)場，讓變更有回頭的機(jī)會。

　　二、對破壞性的操作謹(jǐn)慎小心

　　什么是破壞性的操作？

　　比如：對 Oracle 而言：truncate table_name、delete table_name、drop table_name，這些語句執(zhí)行起來輕松簡單也愜意極了、但記住！即便數(shù)據(jù)可被回滾、代價也是非常大！

　　對 Linux 而言：rm -r 所有當(dāng)前及其子目錄的所有數(shù)據(jù)都將被刪除。經(jīng)歷過這種故障的人、大多會給 rm 上個別名

　　alias rm='rm -i'

　　同理、cp 和 mv 也可以有同樣的選項：

　　alias cp='cp -i'
　　alias mv='mv -i'

　　三、設(shè)置好命令提示

　　在操作之前、先理清你所在的是主庫、備庫？當(dāng)前目錄？哪個 schema？session？時間？

　　比如：

　　對 Oracle 來講：

　　[plain] view plaincopy
　　idle> set sqlprompt 'RAC-node1-primary@10g>>'
　　RAC-node1-primary@10g>>

　　當(dāng)然、你也可以在 glogin.sql 里面設(shè)置。

• 對于 Linux 而言、bash 環(huán)境的提醒可設(shè)置 PS1 來知道當(dāng)前目錄、登陸用戶名和主機(jī)信息等；
• 對 PS1 更多理解、請見：man PS1

四、備份并驗證備份的有效性

　　人非圣賢、豈能無過？是機(jī)器總有計劃內(nèi)或計劃外崩潰的一天。怎么辦？備份?。?！備份的學(xué)問很大、按照不同的維度可以分：冷備和熱備；實時和非實時；物理和邏輯。OLTP 7*24 在線業(yè)務(wù)、DB 就需要有實時熱備。這樣就可以了嗎？

　　如果開發(fā)人員的一個不帶任何條件的 delete 誤刪所有數(shù)據(jù)，此時你除了實時、還需要有非實時的備份、把 DB 從邏輯錯誤中恢復(fù)出來。

　　備份有了、可以高忱無憂了嗎？不行！尚須驗證備份的有效性。一個總有那么幾次、備份無法保證 100% 恢復(fù)，簡單的驗證就是找個空庫恢復(fù)出來。

五、對生產(chǎn)環(huán)境永保敬畏之心

　　會計人員在從業(yè)之前、都有個職業(yè)操守的訓(xùn)練。同理、這也應(yīng)該是運(yùn)維人員進(jìn)入行業(yè)首先需要具備的素養(yǎng)。

　　比如：

• 于 Oracle 而言、你可以跑一個 RDA 巡檢 DB 的健康狀況；
• 于 Linux 而言、是否有 password aging、隔離外網(wǎng)等。

　　六、交接和休假最容易出故障、變更請謹(jǐn)慎

• 接手別人的工作要一而再，再而三的確認(rèn)變更方案。請教人并不見得就是能力不行的表現(xiàn)；
• 休假前***各種可以做好的事情，***能夠準(zhǔn)備一份文檔，指明在什么情況下怎么做和聯(lián)系哪些人；
• 在別人放假的時候接手工作，“能拖則拖”，實在需要執(zhí)行：必須不厭其煩的跟原運(yùn)維者確認(rèn)各個操作細(xì)節(jié)。

　　七、搭建報警、及時獲取出錯信息；搭建性能監(jiān)控、預(yù)測趨勢

　　運(yùn)維人員賴于生存的工具就是報警和監(jiān)控。

• 報警可以讓你及時知道系統(tǒng)出現(xiàn)了什么異常、以便及時跟進(jìn)、把故障扼殺于搖籃；
• 監(jiān)控可以讓你了解系統(tǒng)的歷史性能信息、以歷為鑒、可以知興替嘛、早做優(yōu)化。

　　報警和優(yōu)化是衣寬帶水的好兄弟、相鋪相成、互相促進(jìn)。

　　八、自動卻換需謹(jǐn)慎

　　比如：Oracle 存儲級的HA方案：Data Guard，主庫提交了一筆訂單，結(jié)果發(fā)生了 switchover，這筆訂單沒有同步到備庫，那么賣家損失了一個銷售單、對客戶、對公司都是損失。

　　九、仔細(xì)一點(diǎn)，偏執(zhí)一點(diǎn)，檢查，檢查，再檢查

　　有這么一個人：

　?、?他在做一個變更的時候，會先提前一兩周發(fā)送郵件并電話手機(jī)通知相關(guān)人

　?、?在測試機(jī)上寫好腳本，召集大家 review 操作步驟和腳本

　　③ 測試完成以后拷貝到生產(chǎn)環(huán)境

　?、?登錄對應(yīng)機(jī)器，“打開，關(guān)閉，打開，關(guān)閉”該腳本

　　⑤ 跟相關(guān)人員再次確認(rèn)執(zhí)行的操作，順序，時間點(diǎn)，可能的影響和回滾是否都準(zhǔn)備好了

　　⑥ 執(zhí)行前還要退出這個機(jī)器，然后再登錄進(jìn)去，“打開，關(guān)閉”腳本

　?、?***才在后臺運(yùn)行腳本，同時在另外一個窗口登錄著，隨時ps和查看結(jié)果輸出

　　期間姿勢端正，呼吸急促而均勻，眼神凝重。操作的人不覺得累，倒是一邊學(xué)習(xí)的人很累。

　　十、簡單即是美

　　這有點(diǎn)禪的意境、和 GNU/Linux 的思想不謀而合。

　　我們總是面臨各種誘惑：新的系統(tǒng)架構(gòu)，新的更智能的命令和工具，***的硬件平臺，功能更全的HA軟件...你可以在線下安裝，測試，怎么做都行。但是如果想要在生產(chǎn)環(huán)境下使用起來、請三思！！

• 能夠使用系統(tǒng)內(nèi)置命令的話，就不用考慮其他要專門下載安裝的軟件了
• 腳本本身就能完成的功能，就沒有必要專門找一個功能豐富的軟件來做
• Linux本身自帶的字符界面比那些復(fù)雜的圖形界面要簡潔方便

　　......

　　***祝大家運(yùn)維工作一帆風(fēng)順，多福多壽，不出故障。