如果把Web服務(wù)器集群比作一座城池，那么負(fù)載均衡器則相當(dāng)于城門，重要性不言而喻。2016年4月14-15日，由51CTO主辦的WOT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者大會(huì)在北京珠三角JW萬豪酒店召開。會(huì)上，UCloud基礎(chǔ)云計(jì)算研發(fā)中心總監(jiān)俞圓圓從負(fù)載均衡的發(fā)展及運(yùn)營(yíng)中的痛點(diǎn)，剖析了軟件負(fù)載均衡ULB架構(gòu)的演進(jìn)之路。

俞圓圓，UCloud基礎(chǔ)云計(jì)算研發(fā)中心總監(jiān)，負(fù)責(zé)大規(guī)模的虛擬網(wǎng)絡(luò)及下一代NFV產(chǎn)品架構(gòu)設(shè)計(jì)和研發(fā)。在大規(guī)模、企業(yè)級(jí)分布式系統(tǒng)、面向服務(wù)架構(gòu)、TCP/IP協(xié)議棧、數(shù)據(jù)中心網(wǎng)絡(luò)、云計(jì)算平臺(tái)的研發(fā)方面積累了大量的實(shí)戰(zhàn)經(jīng)驗(yàn)。曾經(jīng)分別供職于Microsoft Windows Azure和Amazon AWS EC2，歷任研發(fā)工程師，高級(jí)研發(fā)主管，***軟件開發(fā)經(jīng)理，組建和帶領(lǐng)過實(shí)戰(zhàn)能力極強(qiáng)的研發(fā)團(tuán)隊(duì)。

資深的運(yùn)維、開發(fā)人員都了解到，LVS作為目前互聯(lián)網(wǎng)時(shí)代最知名的負(fù)載均衡軟件，在性能和成本控制上結(jié)合的非常好。那為什么UCloud要堅(jiān)持研發(fā)Vortex來作為其負(fù)載均衡產(chǎn)品ULB的核心引擎？

會(huì)上，俞圓圓曾表示，用戶使用負(fù)載均衡器最重要的需求是“High Availability”和“Scalability”。這也是由于隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，不同企業(yè)業(yè)務(wù)的特點(diǎn)及復(fù)雜度催生了人們對(duì)負(fù)載均衡的可靠性和收縮性的要求越來越高。

負(fù)載均衡的痛點(diǎn)

俞圓圓認(rèn)為，負(fù)載均衡作為一個(gè)網(wǎng)絡(luò)設(shè)備或者網(wǎng)絡(luò)功能已經(jīng)存在很長(zhǎng)的一段時(shí)間。例如，主流負(fù)載均衡解決方案中，硬件廠商以1996年成立的F5為代表，軟件主要為Nginx與LVS。對(duì)于用戶來說，如果有一個(gè)應(yīng)用需要承擔(dān)大量的并發(fā)請(qǐng)求或者新建連接，面對(duì)這么大的請(qǐng)求壓力，完全依靠一臺(tái)服務(wù)器不斷堆積硬件能力是無法承擔(dān)的，這就需要靠水平擴(kuò)展來提升性能。但是，對(duì)于一般的用戶來說，硬件負(fù)載均衡產(chǎn)品的價(jià)格昂貴，很難承受這樣的負(fù)擔(dān)。當(dāng)硬件出現(xiàn)問題或者bug的時(shí)候，需要聯(lián)系廠商解決，時(shí)間很難把控，新特性迭代緩慢且需資深人員維護(hù)升級(jí)，也是變相增加昂貴的人力成本。

軟件方面，LVS作為目前互聯(lián)網(wǎng)時(shí)代最知名的負(fù)載均衡軟件的代表，其最常用的NAT、DR、FULLNAT三種轉(zhuǎn)發(fā)模式中都有其優(yōu)點(diǎn)和缺點(diǎn)，***的問題就是其復(fù)雜性。如下圖：

俞圓圓還認(rèn)為，更讓人雪上加霜的是還需要考慮LVS的性能擴(kuò)展和容災(zāi)方法，這使得整個(gè)方案更加的復(fù)雜。常見的有基于Keepalived的主備方式和ECMP兩種。Keepalived主備模式設(shè)備利用率低；不能橫向擴(kuò)展；VRRP協(xié)議，有腦裂的風(fēng)險(xiǎn)。而ECMP的方式需要了解動(dòng)態(tài)路由協(xié)議，LVS和交換機(jī)均需要較復(fù)雜配置；交換機(jī)的HASH算法一般比較簡(jiǎn)單，增加刪除節(jié)點(diǎn)會(huì)造成HASH重分布，可能導(dǎo)致當(dāng)前TCP連接全部中斷；部分交換機(jī)的ECMP在處理分片包時(shí)會(huì)有BUG。

在這種情況下，俞圓圓認(rèn)為，Vortex的架構(gòu)設(shè)計(jì)重心就是滿足用戶需求，提供***的“可靠性”和“可收縮性”，而在這兩者之間他們又把“可靠性”放在更重要的位置。

ULB2.0的多維度設(shè)計(jì)

俞圓圓告訴記者，這次發(fā)布的ULB2.0是1.0基礎(chǔ)上的迭代，把整個(gè)四層負(fù)載均衡和七層負(fù)載均衡的能力進(jìn)行了組合。不管是在API上還是在界面上，不同的用戶有著不同的應(yīng)用場(chǎng)景，有的可能需要七層的負(fù)載平臺(tái)轉(zhuǎn)發(fā)，有的需要比較多的轉(zhuǎn)發(fā)策略，有的則需要更加定制化的一些規(guī)則等；而四層負(fù)載均衡很多的時(shí)候是純粹性能上的提升。這次ULB 2.0是基于DPDK重新開發(fā)了四層負(fù)載均衡轉(zhuǎn)發(fā)的核心，利用DPDK提供的高性能用戶空間 (user space) 網(wǎng)卡驅(qū)動(dòng)、高效無鎖數(shù)據(jù)結(jié)構(gòu)成功的將單機(jī)性能提升到轉(zhuǎn)發(fā)14M PPS（10G, 64字節(jié)線速），新建連接200K CPS以上。

談及系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，俞圓圓告訴記者整個(gè)設(shè)計(jì)其實(shí)參考了之前已存在的、包括Nginx以及LVS所支持的不同的轉(zhuǎn)發(fā)模式和工作模式，基本上參考了所有已存的方案，綜合考慮了之后重新設(shè)計(jì)了整個(gè)系統(tǒng)架構(gòu)。其中，比較重要的兩個(gè)設(shè)計(jì)特點(diǎn)如下：

1. ***，通過ECMP和一致性哈希水平擴(kuò)展處理能力，這樣單臺(tái)服務(wù)器不夠可以通過水平擴(kuò)展，理論上可以***延伸整個(gè)集群的負(fù)載能力。

2. 第二，通過DPDK垂直擴(kuò)展單臺(tái)服務(wù)器的處理能力，盡量發(fā)揮出每一個(gè)CPU核的處理能力。

所以，ULB2.0通過引入一致性Hash算法，并結(jié)合ECMP與DPDK的服務(wù)架構(gòu)，解決了利用commodity server實(shí)現(xiàn)［high availability + high scalability］的高性能軟件負(fù)載均衡集群的課題，從而滿足了這一時(shí)期人們對(duì)高可用及高性能的需求。在單機(jī)性能遠(yuǎn)超LVS，甚至超過了Google Maglev的水平。

不同場(chǎng)景下的可靠性保障

俞圓圓表示，UCloud網(wǎng)絡(luò)團(tuán)隊(duì)在可靠性上做了很多工作，以保證不管在負(fù)載中心集群發(fā)生服務(wù)器變化的時(shí)候、還是后端的用戶應(yīng)用服務(wù)器發(fā)生狀態(tài)變化的時(shí)候，都能夠盡量減少對(duì)整個(gè)用戶應(yīng)用的影響。比如，一臺(tái)服務(wù)器宕機(jī)，只有該臺(tái)服務(wù)器上的已有連接將會(huì)受到影響，當(dāng)前其他服務(wù)器上的連接不會(huì)受到任何影響，而宕機(jī)的服務(wù)器上受影響的連接會(huì)被均衡分散到剩余的服務(wù)器上，最小化對(duì)用戶應(yīng)用的影響。

如圖，四層負(fù)載均衡器的主要功能是將收到的數(shù)據(jù)包轉(zhuǎn)發(fā)給不同的后端服務(wù)器，但必須保證將五元組相同的數(shù)據(jù)包發(fā)送到同一臺(tái)后端服務(wù)器，否則后端服務(wù)器將無法正確處理該數(shù)據(jù)包。以常見的HTTP連接為例，如果報(bào)文沒有被發(fā)送到同一臺(tái)后端服務(wù)器，操作系統(tǒng)的TCP協(xié)議棧無法找到對(duì)應(yīng)的TCP連接或者是驗(yàn)證TCP序列號(hào)錯(cuò)誤將會(huì)無聲無息的丟棄報(bào)文，發(fā)送端不會(huì)得到任何的通知。如果應(yīng)用層沒有超時(shí)機(jī)制的話，服務(wù)將會(huì)長(zhǎng)期不可用。Vortex的可靠性設(shè)計(jì)面臨的***問題就是如何在任何情況下避免該情況發(fā)生。Vortex通過ECMP集群和一致性哈希來實(shí)現(xiàn)***程度的可靠性。

Vortex服務(wù)器的一致性哈希算法能夠保證即使是不同的Vortex服務(wù)器收到了數(shù)據(jù)包，仍然能夠?qū)⒃摂?shù)據(jù)包轉(zhuǎn)發(fā)到同一臺(tái)后端服務(wù)器，從而保證客戶應(yīng)用對(duì)此類變化無感知，業(yè)務(wù)不受任何影響。

對(duì)于負(fù)載均衡服務(wù)器和后端服務(wù)器集群同時(shí)變化的場(chǎng)景，Vortex能夠保證大多數(shù)活動(dòng)連接不受影響，少數(shù)活動(dòng)連接被送往錯(cuò)誤的后端服務(wù)器且上層應(yīng)用不會(huì)得到任何通知。并且大多數(shù)新建連接與后端服務(wù)器的映射關(guān)系保持不變，只有最少數(shù)量的映射關(guān)系發(fā)生變化。

ULB的后期規(guī)劃

***談及ULB后期規(guī)劃時(shí)，俞圓圓表示，目前ULB2.0***期只是推出了內(nèi)網(wǎng)負(fù)載均衡，外網(wǎng)負(fù)載均衡已經(jīng)在開發(fā)中。因?yàn)檎麄€(gè)軟件是自研的，所以會(huì)根據(jù)用戶的反饋很快地進(jìn)行迭代。從七層方面來說，用戶對(duì)功能的需求大同小異，只是不同用戶場(chǎng)景下的偏重，有的需要更好的文件壓縮能力，有的需要日志服務(wù)，這些都會(huì)在下一階段的產(chǎn)品中加以考慮。

從性能上來，俞圓圓還表示，七層用戶重點(diǎn)關(guān)注的問題我們目前已經(jīng)在研究，如怎么樣利用專用的硬件加速卡對(duì)SSL做offloading等。對(duì)于四層處理，我們也會(huì)添加更多的轉(zhuǎn)發(fā)策略方面的支持。此外，我們會(huì)同時(shí)把支持的協(xié)議棧再向三層拓展，有的協(xié)議只是基于網(wǎng)絡(luò)IP層，并沒有TCP層的屬性，比如像GRE這樣的協(xié)議我們也打算支持。