在數(shù)字化轉(zhuǎn)型的浪潮與5G技術(shù)快速進(jìn)步的推動(dòng)下，短視頻、電子商務(wù)、在線支付等業(yè)務(wù)迅速增長，帶來了對(duì)全站加速服務(wù)需求的顯著上升。為了更好地服務(wù)用戶、提高體驗(yàn)，傳統(tǒng)的全站加速服務(wù)正遭遇資源分配、運(yùn)維效率、穩(wěn)定性和成本控制等多方面的挑戰(zhàn)。隨著邊緣計(jì)算的迅速發(fā)展，憑借其彈性可伸縮、自動(dòng)化交付、安全性與穩(wěn)定性等創(chuàng)新特性，為解決這些問題提供了新的途徑。因此，火山引擎邊緣云技術(shù)團(tuán)隊(duì)利用邊緣計(jì)算的云原生技術(shù)優(yōu)勢(shì)，將全站加速 DCDN 業(yè)務(wù)轉(zhuǎn)移到邊緣計(jì)算平臺(tái)，推動(dòng)了全站加速 DCDN 服務(wù)的一次重大創(chuàng)新升級(jí)。

經(jīng)過一年的改造遷移，火山引擎全站加速 DCDN目前已將 90% 的流量轉(zhuǎn)移到邊緣計(jì)算容器平臺(tái)。面對(duì)發(fā)展中的挑戰(zhàn)，全站加速 DCDN 不僅積極應(yīng)對(duì)，還在持續(xù)加強(qiáng)容器平臺(tái)的調(diào)度效率、算力、存儲(chǔ)和網(wǎng)絡(luò)等關(guān)鍵能力，確保為抖音集團(tuán)內(nèi)部和各行業(yè)客戶業(yè)務(wù)提供穩(wěn)定、高效且極具性價(jià)比的加速服務(wù)。

本文將基于全站加速 DCDN 與邊緣計(jì)算的關(guān)系以及容器化過程中面臨的挑戰(zhàn)，分享火山引擎全站加速 DCDN 在邊緣計(jì)算容器平臺(tái)規(guī)?；涞氐膶?shí)踐。

1.全站加速 DCDN 和邊緣計(jì)算

火山引擎全站加速 DCDN 提供 http/https 動(dòng)態(tài)及動(dòng)靜態(tài)混合內(nèi)容的加速服務(wù)，利用豐富的網(wǎng)絡(luò)資源，結(jié)合自研的傳輸優(yōu)化、智能緩存、動(dòng)態(tài)路由、安全防護(hù)等能力，為用戶提供安全、穩(wěn)定的一站式加速服務(wù)，提升用戶訪問體驗(yàn)。通過抖音集團(tuán)業(yè)務(wù)和規(guī)模化 ToB 業(yè)務(wù)的打磨，火山引擎全站加速 DCDN 已形成了一套完善且具備規(guī)模商業(yè)化能力的系統(tǒng)，并在全球具備 2500+ 節(jié)點(diǎn)，可以提供億級(jí) QPS 的全網(wǎng)并發(fā)能力。

邊緣計(jì)算是分布式計(jì)算架構(gòu)，在靠近用戶終端的地方部署基礎(chǔ)設(shè)施資源，將算力、網(wǎng)絡(luò)、存儲(chǔ)等下沉到邊緣，提供低時(shí)延、高帶寬的服務(wù)能力。全站加速 DCDN 節(jié)點(diǎn)天然具備全球多節(jié)點(diǎn)的分布式特性，且部署在邊緣，更靠近用戶，因此利用邊緣計(jì)算的資源，包括網(wǎng)絡(luò)、算力和存儲(chǔ)，來增強(qiáng)全站加速 DCDN 服務(wù)，已經(jīng)成為一種必然的發(fā)展趨勢(shì)。

2.全站加速DCDN 為什么選擇容器

邊緣計(jì)算提供裸金屬，虛擬機(jī)和容器三種不同的計(jì)算資源。火山引擎全站加速 DCDN 對(duì)三種計(jì)算資源進(jìn)行了對(duì)比。

容器具備的資源輕量級(jí)、彈性擴(kuò)縮容、部署高效等特點(diǎn)更符合業(yè)務(wù)需求，也可以更好的提升資源利用率，最終全站加速 DCDN 選用容器作為計(jì)算資源來進(jìn)行業(yè)務(wù)遷移。

全站加速 DCDN 容器化可以解決傳統(tǒng) DCDN 存在的資源、業(yè)務(wù)、穩(wěn)定性、成本方面的問題：

• 異構(gòu)管理：通過容器化可以解決不同機(jī)型、不同資源類型帶來的異構(gòu)管理問題
• 活動(dòng)突發(fā)：活動(dòng)突發(fā)資源擴(kuò)容周期長、效率低，通過容器化彈性伸縮解決活動(dòng)帶來的突發(fā)資源問題
• 業(yè)務(wù)穩(wěn)定：混部資源搶占，故障域耦合時(shí)，可以通過容器做業(yè)務(wù)拆分，實(shí)現(xiàn)資源和調(diào)度域隔離
• 成本優(yōu)化：通過小規(guī)格容器化，可以提升資源的售賣率和碎片化資源的利用率

除此之外，全站加速 DCDN 容器化能對(duì)容器的平臺(tái)、計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等能力進(jìn)行全方位的打磨優(yōu)化，同時(shí)可以將全站加速 DCDN 節(jié)點(diǎn)上多余的算力、帶寬、存儲(chǔ)等資源釋放出來進(jìn)行售賣，提升資源利用率，對(duì)業(yè)務(wù)來說實(shí)現(xiàn)了雙贏。

3.技術(shù)挑戰(zhàn)和解決方案

全站加速 DCDN 現(xiàn)網(wǎng)改造需要容器兼容現(xiàn)有的平臺(tái)架構(gòu)，滿足全站加速 DCDN 側(cè)的需求，包括：

通過 Kata+富容器，來實(shí)現(xiàn) systemd 管理、ssh 登陸，同時(shí)具備安全隔離、協(xié)議棧優(yōu)化能力;

通過 Ceph 和 Spdk ，讓存儲(chǔ)支持本地盤/云盤能力;

通過虛擬網(wǎng)卡，支持獨(dú)立 PIP，具備出公網(wǎng)能力;

通過 LB4 EIP 透?jìng)髂芰?，使全站加?DCDN 具備 LB4 多 EIP 服務(wù)能力等。

此外，全站加速 DCDN 容器化過程中還存在很多技術(shù)挑戰(zhàn)。面對(duì)這些挑戰(zhàn)，團(tuán)隊(duì)不斷進(jìn)行探討，針對(duì)性地提出解決方案。

3.1通過富容器+ kata ，實(shí)現(xiàn)獨(dú)立協(xié)議棧隔離

傳統(tǒng)容器作為獨(dú)立的運(yùn)行環(huán)境，缺少 systemd 進(jìn)行容器內(nèi)部的進(jìn)程管理，原有的業(yè)務(wù)運(yùn)維體系依賴 crond、sshd 等服務(wù)。全站加速 DCDN 側(cè)需要有獨(dú)立的協(xié)議棧來進(jìn)行協(xié)議棧傳輸優(yōu)化，同時(shí)需要安全隔離的環(huán)境。為解決這一挑戰(zhàn)，最終團(tuán)隊(duì)決定采用富容器+ kata 的方案，實(shí)現(xiàn)獨(dú)立協(xié)議棧隔離、減少對(duì)運(yùn)維體系的侵入，保持原有的運(yùn)維體系。

3.2 EIP 直通模式兼容 LB 轉(zhuǎn)發(fā)模式，解決流沖突問題

全站加速 DCDN 接入調(diào)度的負(fù)載均衡主要由 DNS 負(fù)載均衡實(shí)現(xiàn)，這種情況下每個(gè)節(jié)點(diǎn)會(huì)存在多個(gè) EIP 來做接入，公有云的 LB 在不侵入用戶主機(jī)的情況下，會(huì)通過 overlay 封裝來進(jìn)行轉(zhuǎn)發(fā)，但在某些特殊的場(chǎng)景下，同 CLIENT:CPORT 可能會(huì)和不同的 EIP:EPORT 通信，如果轉(zhuǎn)發(fā)到后端遇到相同的 RIP:RPORT 就會(huì)出現(xiàn)流沖突的問題。為解決這一挑戰(zhàn)，最終團(tuán)隊(duì)決定通過 EIP 直通的模式兼容原有全站加速 DCDN 的 LB 轉(zhuǎn)發(fā)模式，LB 和后端通信的時(shí)候，DSTIP 直接使用 EIP 而非 RSIP，同時(shí)在 RS 上監(jiān)聽 EIP，這樣就解決了流沖突的問題。

3.3調(diào)度親和性，解決 CPU 負(fù)載不均問題

在同集群發(fā)現(xiàn)不同機(jī)型服務(wù)器 CPU 表現(xiàn)不一樣，這會(huì)帶來負(fù)載不均的問題。為解決這一挑戰(zhàn)，團(tuán)隊(duì)決定通過調(diào)度親和性，保證同集群內(nèi)調(diào)度的 node 機(jī)型保持一致，解決機(jī)型代差導(dǎo)致的 CPU 不均。容器 CPU 之前是使用 defaultCpuSet 中的核，以來時(shí)間片調(diào)度，會(huì)造成和其他控制面組件的爭搶，所以容器 CPU 需要單獨(dú)設(shè)置 CPU 核，同時(shí) vcpu 和物理 cpu 做綁定，避免其他業(yè)務(wù)的影響。

3.4三大舉措提升穩(wěn)定性

全站加速 DCDN 容器化過程中，通過以下方式來保障業(yè)務(wù)穩(wěn)定性。

故障遷移和熔斷：支持集群內(nèi)宿主機(jī)故障時(shí) pod 自動(dòng)遷移，同時(shí)為防止大規(guī)模刪除容器，需要具備中心熔斷機(jī)制，容器平臺(tái)通過引入"風(fēng)控策略"，可以保證一定時(shí)間范圍不允許刪除超過一定節(jié)點(diǎn)的 Pod，從而避免大規(guī)模故障發(fā)生，同時(shí)在邊緣 k8s 異?；蛘咄ㄐ攀〉臅r(shí)候，邊緣集群內(nèi)具備邊緣自治能力，保證現(xiàn)有業(yè)務(wù)穩(wěn)定運(yùn)行。

故障恢復(fù)：如果熔斷異常，出現(xiàn)大規(guī)模刪除容器，那就需要具備快速恢復(fù)的能力，容器實(shí)例通過建立快照能力，并且通過快速恢復(fù)工具，可以在真實(shí)發(fā)生大規(guī)模刪除 Pod 時(shí)，實(shí)現(xiàn)對(duì)全網(wǎng)刪除 Pod 的快速恢復(fù)。

調(diào)度聯(lián)動(dòng)：結(jié)合全站加速 DCDN 側(cè)質(zhì)量探測(cè)結(jié)果，全站加速DCDN 調(diào)度系統(tǒng)會(huì)自動(dòng)感知節(jié)點(diǎn)健康狀態(tài)，異常情況下會(huì)自動(dòng)將節(jié)點(diǎn)主動(dòng)摘除。

4.全站加速 DCDN 規(guī)模容器化實(shí)踐效果

全站加速 DCDN 容器化改造過程持續(xù)了一年，目前全站加速 DCDN 90% 以上的流量已經(jīng)在容器平臺(tái)上平穩(wěn)運(yùn)行。全站加速 DCDN 容器化為業(yè)務(wù)帶來了直觀收益：

提升資源配置效率：容器的彈性調(diào)度能力有效應(yīng)對(duì)了春節(jié)活動(dòng)、雙 11 和雙 12 等特殊時(shí)期帶來的突發(fā)資源問題，顯著提升了資源配置的效率，將從前以月為單位的資源籌備時(shí)間縮短至一周以內(nèi)。

規(guī)避系統(tǒng)性風(fēng)險(xiǎn)：通過全站加速 DCDN 容器化，隔離了故障域，規(guī)避了一次大規(guī)模系統(tǒng)性風(fēng)險(xiǎn)以及減少了 90% 的資源爭搶問題。

提升上線效率：容器化部署后，通過鏡像打包，節(jié)點(diǎn)的上線效率提升了 80% 以上。

提升資源售賣率：通過小規(guī)格容器提升碎片化資源利用率，邊緣資源售賣率提升 11%。

5.未來展望

全站加速 DCDN 容器化幫助解決了很多傳統(tǒng) DCDN 存在的痛點(diǎn)問題，也取得了相應(yīng)的收益，下一步火山引擎全站加速 DCDN 團(tuán)隊(duì)將繼續(xù)協(xié)同邊緣計(jì)算，在以下方面進(jìn)行更深的合作：

邊緣統(tǒng)一調(diào)度：通過統(tǒng)一調(diào)度，對(duì)算力，存儲(chǔ)，以及帶寬統(tǒng)一分配，實(shí)時(shí)感知全站加速 DCDN 算力和帶寬使用情況，做到算力彈性流動(dòng)調(diào)度，提升資源使用率。

安全防護(hù)：依托邊緣大規(guī)模分布式資源，提升 WAF ，抗 DDoS 攻擊能力，通過流量檢測(cè)、流量清洗及黑洞等手動(dòng)方式，遠(yuǎn)源攔截，保障源站穩(wěn)定性。

算力卸載：通過智能網(wǎng)卡，ssl 卸載等能力，卸載算力，提升算力綜合處理能力。

全球網(wǎng)絡(luò)互聯(lián)：通過全球網(wǎng)絡(luò)互聯(lián)，云邊專用網(wǎng)絡(luò)，提升內(nèi)部管理通道，數(shù)據(jù)回傳穩(wěn)定性，提升內(nèi)部網(wǎng)絡(luò)加速性能。

END

采納邊緣云原生技術(shù)將為全站加速 DCDN 帶來顯著的競(jìng)爭優(yōu)勢(shì)，在構(gòu)建一個(gè)高效、穩(wěn)定、可靠且具備良好可擴(kuò)展性的現(xiàn)代化加速網(wǎng)絡(luò)過程中，邊緣云原生與全站加速 DCDN 的聯(lián)合應(yīng)用將發(fā)揮越來越關(guān)鍵的作用。面向未來，邊緣云原生與全站加速 DCDN 會(huì)不斷進(jìn)行深度融合，將為網(wǎng)絡(luò)技術(shù)的發(fā)展帶來更多可能性，并推動(dòng)行業(yè)達(dá)成新成就。