[[151855]]

分享人：

　　蘇永華：盛大游戲高級研究員，負(fù)責(zé)盛大游戲及G云網(wǎng)絡(luò)架構(gòu)規(guī)劃及運(yùn)維。

　　在此之前先后就職于中國郵政負(fù)責(zé)綠卡系統(tǒng)運(yùn)維、騰訊公司負(fù)責(zé)數(shù)據(jù)中心的建設(shè)及規(guī)劃。在網(wǎng)絡(luò)、數(shù)據(jù)中心規(guī)劃、建設(shè)方面擁有比較豐富的經(jīng)驗(yàn)。

　　分享實(shí)錄

　　目前市面上的云產(chǎn)品層出不窮，對于用戶來說選擇一款適合于自己業(yè)務(wù)的云至關(guān)重要。這要求用戶選擇的云產(chǎn)品除了與自己的業(yè)務(wù)需求契合度高之外，還要運(yùn)行穩(wěn)定、可用率高。

　　對于各種云平臺來講除了技術(shù)上的差異外，有一點(diǎn)是相同的，他們的資源都是部署在IDC機(jī)房和運(yùn)營商網(wǎng)絡(luò)上的。因此選擇一個(gè)穩(wěn)定的IDC和網(wǎng)絡(luò)供應(yīng)商來承載各自的云平臺是各云服務(wù)提供商的首要任務(wù)。

　　之前力哥已share過G云COO馮總的相關(guān)IDC選擇的文章，在文中著重對個(gè)運(yùn)營商網(wǎng)絡(luò)和節(jié)點(diǎn)做了闡述，因此，我會在其他方面多說一點(diǎn)，經(jīng)驗(yàn)不足支持請大家多多包涵。

　　選擇運(yùn)營商骨干節(jié)點(diǎn)所在地區(qū)的IDC、網(wǎng)絡(luò)一般為單線，電信和聯(lián)通骨干節(jié)點(diǎn)所在地一般都是省會城市，IDC和網(wǎng)絡(luò)普遍具有以下特點(diǎn)：

　　1.建設(shè)等級高，基礎(chǔ)設(shè)施好：所建設(shè)的IDC等級相對較高，屬于運(yùn)營商4星級以上機(jī)房，電力、空調(diào)、柴發(fā)等基礎(chǔ)設(shè)施都具有N+1或N+N的冗余，高可用性較好。一般不會因基礎(chǔ)設(shè)施問題導(dǎo)致云平臺服務(wù)小時(shí)級別的中斷。

　　2.運(yùn)維經(jīng)驗(yàn)豐富、運(yùn)維力量強(qiáng)：由于是骨干節(jié)點(diǎn)，IDC和網(wǎng)絡(luò)的重要性較強(qiáng)，運(yùn)營商會配備本區(qū)域最富有經(jīng)驗(yàn)的維護(hù)人員團(tuán)隊(duì)，因此無論基礎(chǔ)設(shè)備問題還是網(wǎng)絡(luò)方面的問題，均可以得到比較迅速的定位或者協(xié)調(diào)資源來解決。

　　3.網(wǎng)絡(luò)接入層級高、擴(kuò)展方便：網(wǎng)絡(luò)方面，骨干節(jié)點(diǎn)地區(qū)IDC一般一跳就會至省級或集團(tuán)骨干網(wǎng)，甚至有的重點(diǎn)IDC核心設(shè)備直連骨干網(wǎng)C級設(shè)備。與其他地區(qū)相比減少了很多中間傳輸線路，降低了故障率且在帶寬擴(kuò)展性也非常的便利。

　　4.運(yùn)營規(guī)范、服務(wù)到位：與其他地區(qū)相比運(yùn)營IDC的時(shí)間都比較長而且有比較規(guī)范和完善的SLA，在服務(wù)方面比較到位。可以為客戶省卻大量的前期溝通成本。

　　從客戶群體來看排名靠前的互聯(lián)網(wǎng)企業(yè)例如BAT等都在這些地區(qū)有大量的部署，經(jīng)過BAT對運(yùn)營商服務(wù)質(zhì)量、IDC基礎(chǔ)條件、運(yùn)營規(guī)范等方面的推動，運(yùn)營商在服務(wù)意思和安全防范上無論從橫向還是縱向來講都是比較領(lǐng)先的。

　　G云部署在南京、上海、天津、廣州等地機(jī)房都屬于此類型的IDC，IDC和網(wǎng)絡(luò)運(yùn)行多年都非常平穩(wěn)，每年基本可達(dá)到99.95%的可用率。

　　內(nèi)容包括三個(gè)主題：

　　◆BGP機(jī)房和網(wǎng)絡(luò)的選擇

　　◆BGP在G云中的應(yīng)用

　　◆墨菲定律對運(yùn)維的啟示

　　一、BGP機(jī)房和網(wǎng)絡(luò)的選擇

　　BGP網(wǎng)絡(luò)融合了三大運(yùn)營商甚至更多運(yùn)營商線路，既可以解決國內(nèi)運(yùn)營商之間互聯(lián)互通問題，也有效解決了有些業(yè)務(wù)對于多IP多線路架構(gòu)上的不支持。因此，對于用戶在不同時(shí)間段多運(yùn)營商無縫接入的手游等類型業(yè)務(wù)特別適合。但是因BGP網(wǎng)絡(luò)融合了多運(yùn)營商線路，故對于網(wǎng)絡(luò)故障率和故障后產(chǎn)生的影響都增大了很多，選擇一個(gè)比較靠譜的BGP機(jī)房和網(wǎng)絡(luò)非常重要!

　　對于BGP實(shí)現(xiàn)方式來講，國內(nèi)95%以上的BGP線路都不是全網(wǎng)穿透式BGP，一部分是與單個(gè)運(yùn)營商網(wǎng)內(nèi)BGP廣播互聯(lián)，一般是與運(yùn)營商進(jìn)行靜態(tài)廣播完成的；有的線路是采用本地運(yùn)營商的資源，有的則是通過長途鏈路從外地引入至本地的。因此不同的方式、不同的線路資源對于網(wǎng)絡(luò)的可用性、價(jià)格都影響較大。云平臺對BGP機(jī)房和網(wǎng)絡(luò)的選擇主要注意以下幾個(gè)方面：

　　1.BGP機(jī)房的選擇---機(jī)房等級高、基礎(chǔ)設(shè)施有冗余

　　國內(nèi)目前有能力承建IDC并很好的對外服務(wù)的運(yùn)營商除三大基礎(chǔ)運(yùn)營商外，僅有世紀(jì)互聯(lián)、鵬博士、萬國數(shù)據(jù)等少數(shù)運(yùn)營商有實(shí)力。其他的二級運(yùn)營商一般都是租用或與基礎(chǔ)運(yùn)營商合作的方式來發(fā)展BGP機(jī)房業(yè)務(wù)，為了降低成本有些運(yùn)營時(shí)間較久或建設(shè)等級不高的機(jī)房會推向市場。這些機(jī)房的基礎(chǔ)設(shè)施都比較老化甚至一些關(guān)鍵設(shè)施如UPS等都無冗余，運(yùn)營隱患非常大，因此在選擇BGP機(jī)房時(shí)要注意IDC運(yùn)營的年限、建設(shè)的等級和關(guān)鍵基礎(chǔ)設(shè)施的冗余。

　　2.BGP網(wǎng)絡(luò)的選擇---覆蓋好、本地線路資源

　　目前BGP網(wǎng)絡(luò)覆蓋全國資源較好的的確是北京，北京的基礎(chǔ)運(yùn)營商相對比較開放也是BGP網(wǎng)絡(luò)發(fā)展和運(yùn)營最好的地區(qū)。廣東地區(qū)發(fā)展次之。為保證BGP網(wǎng)絡(luò)的品質(zhì)，最好選擇北京當(dāng)?shù)鼗A(chǔ)運(yùn)營商廣播接入的運(yùn)營商。二級運(yùn)營商為了節(jié)省成本或規(guī)避當(dāng)?shù)剡\(yùn)營商的接入限制，有些線路資源從河北等地調(diào)度至北京，或把北京等地的資源調(diào)度至外地使用。除了造成延時(shí)大增外，還會有長途鏈路傳輸上的不可靠等隱患。這些都可以通過網(wǎng)絡(luò)檢測工具ping、tracert路由分析來判斷線路資源是否屬于本地。

　　3.客戶群體高端或垂直，防Ddos攻擊能力強(qiáng)

　　BGP網(wǎng)絡(luò)因成本、資源等原因抗Ddos攻擊能力比較弱，目前行業(yè)內(nèi)BGP機(jī)房防Ddos的能力一般在5G左右，目前國內(nèi)的攻擊成本較低，因此現(xiàn)在網(wǎng)絡(luò)遭受Ddos等安全攻擊已成為常態(tài)。對于BGP運(yùn)營商來說機(jī)房內(nèi)客戶的規(guī)模和其業(yè)務(wù)的合規(guī)性對于減少Ddos攻擊數(shù)量有很大作用。

　　目前G云平臺一般選擇散戶少、垂直用戶多的BGP運(yùn)營商作為合作伙伴，傳奇、九陰等眾多對端游、手游對網(wǎng)絡(luò)要求較高的業(yè)務(wù)都在上面運(yùn)行的良好。

　　二、BGP在G云中的應(yīng)用

　　1.BGP簡介

　　BGP是一種路由協(xié)議，目前internet上大型網(wǎng)絡(luò)或者機(jī)構(gòu)運(yùn)行的協(xié)議絕大多數(shù)都是BGP，他協(xié)議傳輸可靠，更新消耗小，而且具備豐富的路由選擇的策略，能夠支持?jǐn)?shù)十萬甚至百萬路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景，一般情況下都是選擇使用BGP協(xié)議。

　　2.運(yùn)營商BGP線路的那些事

　　由于國內(nèi)多運(yùn)營商的存在及互聯(lián)互通問題，很多公司基于業(yè)務(wù)的特點(diǎn)希望所在的數(shù)據(jù)中心網(wǎng)絡(luò)能夠覆蓋越多用戶越好，且希望架構(gòu)簡單。因此選擇多線路接入的BGP資源成為其必然選擇。就運(yùn)營商而言目前IDC出口類型主要分以下幾種：　

　　第一種：靜態(tài)鏈路，通過靜態(tài)路由與運(yùn)營商互聯(lián)，運(yùn)營商PE設(shè)備為城域網(wǎng)級別設(shè)備，這種方式最簡單，而且價(jià)格便宜，一般為十幾元至一百多元每兆，缺點(diǎn)是：無法穿透其他運(yùn)營商且無法根據(jù)路由權(quán)值做路由選路策略。　　

#p#

　　第二種BGP廣播鏈路：與運(yùn)營商進(jìn)行對等互聯(lián)BGP連接，PE設(shè)備為骨干設(shè)備。需要擁有自己的IP地址和AS號，優(yōu)勢是，可以接受運(yùn)營商的國內(nèi)所有路由及發(fā)送自己的公網(wǎng)業(yè)務(wù)路由，豐富路由策略權(quán)值做路由調(diào)整使用。

　　這種方式鏈路租費(fèi)和廣播費(fèi)用昂貴，且需要強(qiáng)大的運(yùn)營商關(guān)系。每兆價(jià)格在幾百元甚至千元。

　　第三種：靜態(tài)代播，靜態(tài)鏈路的衍生版本，通過靜態(tài)路由與運(yùn)營商互聯(lián)，接入PE設(shè)備為城域網(wǎng)級別設(shè)備，運(yùn)營商用靜態(tài)路由指入互聯(lián)，并用OSPF重分布將靜態(tài)路由廣播至全網(wǎng)，要求接入商必須有自己的ip地址。

　　此種方式在操作時(shí)，在靜態(tài)鏈路的價(jià)格上還要付費(fèi)給運(yùn)營商IP廣播費(fèi)用一般為十幾至幾十元每IP、每月。此種方式也無法靈活的根據(jù)路由的權(quán)值做路由的選路。

　　各機(jī)房間采用BGP協(xié)議，方便路由靈活、敏捷的切換及多協(xié)議的擴(kuò)展。對于一些較為邊緣的機(jī)房則采用gre over ipsec的方式接入G云骨干網(wǎng)核心。G云機(jī)房還在根據(jù)業(yè)務(wù)的發(fā)展，與運(yùn)營商進(jìn)行BGP互聯(lián)，建設(shè)自有的BGP出口資源。

　　由于BGP協(xié)議和資源使用方面相對都比較成熟了，相關(guān)的優(yōu)缺點(diǎn)和走過的艱辛就不在此多說，因此在此僅僅與大家分享一下機(jī)房之間gre over ipsec備份線路互聯(lián)時(shí)值得注意的點(diǎn)：

　　1.MTU問題，機(jī)房間做了GRE IPSEC后，數(shù)據(jù)包頭大小是有變化的，需要考慮GRE和ipsec對包頭的大小的影響，因此在內(nèi)網(wǎng)傳輸數(shù)據(jù)或業(yè)務(wù)使用時(shí)一定要注意數(shù)據(jù)包分片問題，及時(shí)調(diào)整系統(tǒng)或者網(wǎng)絡(luò)設(shè)備的MTU值。

　　2.Ipsec加密對網(wǎng)絡(luò)設(shè)備是有消耗的，一般來說對數(shù)據(jù)進(jìn)行des加密，對于cisco3945E設(shè)備，其效率是3des的4倍，當(dāng)cisco 3945E運(yùn)行 IPsec時(shí)；單向加或解密延時(shí)2.5ms，In+Out加解密延5ms，兩端雙向10ms ，ciscoASR路由器IPsec無延遲。Cisco 3945E 采用ESP-DES加密時(shí)內(nèi)存占650M，CPU 50%。因此請大家在實(shí)施是根據(jù)數(shù)據(jù)中心在內(nèi)網(wǎng)中的定位和需求靈活的對設(shè)備進(jìn)行選型。

　　三、墨菲定律對運(yùn)維的啟示

　　二十世紀(jì)西方文化中最杰出的三大發(fā)現(xiàn)就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在問題，他總會發(fā)生。我和很多朋友在數(shù)據(jù)中心和網(wǎng)絡(luò)、系統(tǒng)崗位掙扎多年，對此感受頗深，也有相當(dāng)多的案例可以佐證。先說一個(gè)近期的案例，一朋友在機(jī)房搬遷時(shí)，大部分工作都操作完畢，最后僅僅是Ddos安全設(shè)備未與安全同事確認(rèn)部署效果，加上連續(xù)奮戰(zhàn)太累就先回去休息了，以為安全攻擊是較小概率事件，因此即時(shí)有問題，下午也可以很快搞定。結(jié)果在上午休息過程中，該機(jī)房某款業(yè)務(wù)就遭受到數(shù)次了大流量Ddos攻擊，導(dǎo)致整機(jī)房業(yè)務(wù)受損嚴(yán)重。

　　近來的Ctrip事件、青云、阿里云運(yùn)營事件的產(chǎn)生從某種角度來說都有墨菲定律的影子。因此對于我們來講主要有以下啟示：

　　1.重視細(xì)節(jié)、重視流程

　　無論做變更操作還是版本發(fā)布及其他運(yùn)維操作，在細(xì)心的同時(shí)嚴(yán)格按照流程和規(guī)范操作，比如小到變更流程、回退操作，發(fā)布流程大到運(yùn)營管理和項(xiàng)目管理，使規(guī)范流程的意識深深的烙印在心里。無論是人為操作或者系統(tǒng)自動操作都有出紕漏的可能，按照規(guī)范流程操作可以有效的保護(hù)我們，使我們免于背負(fù)不必要的黑鍋。

　　2.要有樂觀積極心態(tài)，千萬不能受負(fù)面情緒影響

　　在做運(yùn)維過程中，任何操作都是戰(zhàn)戰(zhàn)兢兢、小心翼翼，若沒有積極樂觀的心態(tài)和強(qiáng)大的自信心，估計(jì)做不了幾年運(yùn)維，精神上就無法負(fù)荷了，肯定會被壓垮，從而會導(dǎo)致更大的錯誤出現(xiàn)，乃至影響到自身的生活。因此，我們必須要有積極的心理暗示，強(qiáng)大的自信心來面對我們的工作，甚至客戶、老板，只有這樣才能在工作中游刃有余、穩(wěn)步推動。也希望各位做運(yùn)維的兄弟能夠團(tuán)結(jié)起來，進(jìn)行資源、信息、知識共享降低運(yùn)維的門檻。

　　提問環(huán)節(jié)：

　　問題1：運(yùn)營商BGP線路里面，類型3和1相比的優(yōu)勢在哪？

　　答：類型1是目前單線或者雙線機(jī)房常用的方式就是與運(yùn)營山谷進(jìn)行靜態(tài)路由方式互聯(lián)就是我們所謂的雙線雙IP，類型3是所謂的假bgp，即一個(gè)IP分別讓幾個(gè)運(yùn)營商進(jìn)行靜態(tài)網(wǎng)內(nèi)代播，運(yùn)營商之間不能穿越。

　　問題2：有無做過TCP OVER ANYCAST這種網(wǎng)絡(luò)架構(gòu)的測試？

　　答：暫時(shí)沒有進(jìn)行測試，后續(xù)會有計(jì)劃對DNS over anycast的技術(shù)進(jìn)行研究，屆時(shí)可以一起交流。

　　問題3：你們租機(jī)房的適合會考慮備份系統(tǒng)有效性嗎?

　　答：備份系統(tǒng)有效性更多是從業(yè)務(wù)層面驗(yàn)證，對于基礎(chǔ)性機(jī)房選擇的話更多的我們會從基礎(chǔ)設(shè)施(電、制冷、柴發(fā))和網(wǎng)絡(luò)穩(wěn)定性去考慮。目前對于重要的業(yè)務(wù)系統(tǒng)例如計(jì)費(fèi)認(rèn)證類型的一般在同城都有災(zāi)備，而且同城各機(jī)房間會采用裸光纖進(jìn)行環(huán)狀互聯(lián)，以保證關(guān)鍵數(shù)據(jù)傳輸?shù)母呖捎眯浴?/p>