【51CTO獨家特稿】今天天氣不錯，PM2.5只有50多，順路在KFC吃了個早餐，到公司已經9:50了，打開電腦，接了杯水剛坐到工位被同事叫住了，告訴我A機房的公網流量出口快跑滿了，看能不能找幾個流量大的站點遷移到B機房。我的***反應就是說好擴充的流量為什么沒有到位？（注：流量及硬件采購不屬于運維部工作范疇）

[[109088]]

我從心里很抵觸做這種事情，原因很簡單：幾百個域名，分布到不同的IDC，從DNS管理解析到后端Web集群訪問，都不是一個小數量級的。在自動化平臺、管理平臺不完善的情況下，做這種遷移后患無窮。片刻思考及分析后，迅速著手遷移。因為現在A機房公網流量已經達到極限，核心站點已經出現訪問緩慢、無法加載的現象。

這種類型的遷移有兩不碰：

• 不碰核心站點，重要性不言而喻；
• 不碰小流量站點，因為遷移訪問量較小的站點需要遷移多個站點才能有冗余流量，明顯耽誤時間。

在無可視化數據平臺、完全靠自己對業務的了解程度的情況下，分別遷移了像個人中心、企業中心、發布、無線M。遷移過程很簡單，將A機房服務器上的Nginx配置分發到B機房服務器，隨后更改DNS解析，A機房流量平穩下降，核心業務逐漸恢復正常。可當A機房流量剛降下時，B機房流量又接近上升到極限，因為此刻是每天中的流量峰值階段，加上春節后的流量增長幅度，都已遠遠超過節前預估。

此時，大BOSS走近運維部開始“罵街”了：“就你們這么拖，花那么錢打再多廣告有什么用，這種影響（網站打不開）是毀滅性的...”

做運維，練的就是心態，要足夠淡定，無論遇到多大的事情都不能手忙腳亂。在我身后站著CEO、總經理、總監的情況下，我很淡定的將B機房部分域名遷移到C機房。至此，A、B、C三個機房流量平穩，所有業務已基本恢復正常。

吃一塹長一智，出了問題并不可怕，可怕的是我們從問題中學不到什么，怕的是類似的問題重現！面對如上這么大的一次故障，我們從中學到了些什么呢？

1、缺少數據可視化平臺

雖然有zabbix來監控服務器流量，但是zabbix只能監控到服務器整機物理流量，無法監控到某個域名的當前流量。若有一套能實時查看所有域名流量，通過縱向（每臺服務器流量多少，當前HTTP并發多少）、橫向（每個服務器上運行了多少個域名、每個域名流量多少、域名訪問來源是什么）做可視化展示的系統，也不至于遇到問題才開始著手分析，若是對業務沒有足夠的了解，就很可能在解決問題時雪上加霜。

2、自動化平臺建設不完善

當把某個域名從A機房遷移到B機房時，用的是命令行拷貝，費時費力，還容易發生誤操作，缺少基于web形式的自動化管理平臺。近期會做一個基于Nginx的管理系統，該系統可顯示當前Nginx主機上正在使用的域名、單機總流量、并發、單個域名流量等，比如想把A機房服務器上的域名遷移到B機房服務器上，只需在web平臺上選擇一下源服務器和目標服務器然后點擊確認就可以了。若做到這樣，業務切換時間可大幅縮短。

3、資源擴充滯后

首先，由于流量擴容及硬件采購均不屬于運維部工作范疇，加上流程上的影響，所以在效率上有著嚴重的滯后，這也是本次故障的直接原因之一；其次，多個機房公網交換設備均是千兆網口，且流量飽和度已達70%，若有大于30%的訪問量增長，后果就可想而知了，這也是很大的潛在隱患。面對這種問題，網絡組同學已連夜對機房公網交換設備做了升級。

【作者簡介】