嘉賓 | 呂亞霖

編輯 | 張誠

本文整理自作業(yè)幫基礎(chǔ)架構(gòu)研發(fā)團隊的負(fù)責(zé)人呂亞霖在WOT2024大會上的主題分享。

2024年6月21日-22日，以“智啟新紀(jì)，慧創(chuàng)萬物”為主題的“WOT全球技術(shù)創(chuàng)新大會2024·北京站”正式召開。在《云原生時代的成本優(yōu)化》專場，來自作業(yè)幫基礎(chǔ)架構(gòu)研發(fā)團隊的負(fù)責(zé)人呂亞霖帶來了《作業(yè)幫基于云原生的降本之路》的主題分享，詳細(xì)介紹了作業(yè)幫基礎(chǔ)架構(gòu)如何基于云原生技術(shù)，在滿足業(yè)務(wù)快速迭代和穩(wěn)定性基礎(chǔ)上，實現(xiàn)系統(tǒng)化周期性的成本降低。

以下內(nèi)容，根據(jù)呂亞霖老師的演講實錄整理而來。

一、云原生降本背景和目標(biāo)

在實現(xiàn)降本的過程中，大家普遍面臨來自于三種場景的挑戰(zhàn)：

場景一：短期運動化降低了成本，一年后成本反彈反而更高了；

場景二：通過舍棄穩(wěn)定性來降低成本，遇到了大的事故，得不償失；

場景三：在大型復(fù)雜系統(tǒng)內(nèi)，各個團隊降本往往聚焦自身一點，無法整體統(tǒng)籌，甚至把成本轉(zhuǎn)移給其他部門。

呂亞霖認(rèn)為，通過合理的云原生架構(gòu)來找到一條體系化持續(xù)的降低成本路線，這就是云原生降本的目標(biāo)。

作業(yè)幫的技術(shù)現(xiàn)狀主要分為以下四個方面。

• 服務(wù)模塊：數(shù)千個業(yè)務(wù)模塊，數(shù)十萬計算核心，全球多云多地域多活；
• 多語言棧：golang、C++、python、node、java等；
• 場景多樣：工具化服務(wù)、教育類應(yīng)用、智能硬件場景、AIGC場景；
• 團隊規(guī)模：擁有上千人的產(chǎn)研團隊。

呂亞霖表示，這四個方面是大多數(shù)具備相同體量公司目前的主要技術(shù)現(xiàn)狀，因此作業(yè)幫的云原生降本路線對大多數(shù)具有相同體量的公司有著一定的參考意義。

呂亞霖強調(diào)，云原生降本路線的關(guān)鍵點有兩點。一是要熟練掌握業(yè)務(wù)特征以及技術(shù)組件的各種特征，通過云原生架構(gòu)來適配底層的基礎(chǔ)設(shè)施；二是基礎(chǔ)設(shè)施要向上反饋架構(gòu)的適配性，盡量能夠滿足云原生架構(gòu)，即業(yè)務(wù)、中間件和基礎(chǔ)設(shè)施都向云原生架構(gòu)靠攏，實現(xiàn)雙向奔赴。

二、應(yīng)用：流媒體和serverless的最佳組合

作業(yè)幫有一個比較典型的業(yè)務(wù)場景是流量的時間周期特別明顯，例如主要集中在下午3點、4點、5點這幾個小時內(nèi)。開始的一瞬間，流量達到峰值，之后幾乎沒有流量。

呂亞霖表示，針對作業(yè)幫的業(yè)務(wù)特點，我們使用了Serverless的VNode節(jié)點開源方案進行了改造，在一個 Service中包括很多Node物理節(jié)點和虛擬節(jié)點，虛擬節(jié)點VNode可以看成是一個無限擴展的物理節(jié)點，這樣的方案使得在上層業(yè)務(wù)中看不到任何差異。因此，我們可以把VNode當(dāng)成一個無限的擴展節(jié)點，它的Pod會橫向擴容到VNode上，當(dāng)流量高峰到來時。正常的服務(wù)也能夠正常調(diào)用。

呂亞霖通過一組數(shù)據(jù)，展示了流媒體服務(wù)serverless架構(gòu)成本優(yōu)勢。

假設(shè)：包年包月服務(wù)器每小時成本為C，使用serverless每小時成本為1.5C。全部使用包年包月服務(wù)器的總成本為 C * 24 = 24C，serverless成本為1.5C * 5 + 10% * C* 19 = 8.4C。

最終得出的結(jié)論是，使用serverless可降低成本：(24C – 8.4C) / 24C = 65%。

雖然serverless能夠顯著降低成本，但在技術(shù)架構(gòu)的改造過程中，也會面臨如下幾個方面的挑戰(zhàn)。

1.穩(wěn)定性挑戰(zhàn)

作業(yè)幫采用了調(diào)度器和分流機制來解決這一挑戰(zhàn)。

在調(diào)度器方面，一是采用預(yù)測式擴縮容YHPA，預(yù)測業(yè)務(wù)流量高峰來臨前半個小時提前調(diào)度擴容；二是兜底擴縮機制DHPA，當(dāng)預(yù)警流量進入，全量急速拉起全容量服務(wù)。

在資源保證方面，一是通過與廠商商談資源的預(yù)留，讓我們想要的資源不要快速釋放，確保一定的資源預(yù)留量。二是就近地域IDC分流，比如北京IDC需要一萬核，廠商只能提供八千核，差的兩千核容量就要分流給河北的IDC，這就需要直接在端上進行分流。當(dāng)然，也可以通過直接采購云上SaaS產(chǎn)品，在端上進行自研和Saas產(chǎn)品分流。

2.觀測性挑戰(zhàn)

主要通過日志采集組件DS注入POD、追蹤組件上報collector、監(jiān)控支持Prometheus、支持與kubelet通信，獲取運行POD的信息等技術(shù)來解決這一挑戰(zhàn)。

對于網(wǎng)絡(luò)挑戰(zhàn)，作業(yè)幫通過Serverless支持指定公網(wǎng)EIP進行解決。在安全挑戰(zhàn)上，作業(yè)幫通過注解的方式把安全組下放，快速啟動并通過底層sanbox復(fù)用進行解決。

三、基礎(chǔ)組件：服務(wù)觀測基礎(chǔ)組件的云原生架構(gòu)改造

呂亞霖以日志服務(wù)為例，介紹了基礎(chǔ)服務(wù)成本之殤。

“假設(shè)每日產(chǎn)生1PB日志，存儲&檢索一個月的日志，需要多少成本?！?呂亞霖以一道數(shù)字題，介紹了日志服務(wù)的成本。他表示，如果使用ELK，只算ES的話，按照官方介紹測算寫入和查詢需要的算力，大概需要上百臺96C物理機器。在極端計算下只算磁盤成本，1TB磁盤需要350元/月，30PB則需要350*1000*30 = 1000萬/月。監(jiān)控、日志追蹤同理。

呂亞霖表示，大部分互聯(lián)網(wǎng)企業(yè)，服務(wù)觀測成本占在線業(yè)務(wù)總體成本（不包含大數(shù)據(jù)）的15%，甚至更高。但是，只有在5%以下才是合理區(qū)間，因此有大量的優(yōu)化空間。

在觀測體系的改造上，作業(yè)幫采用將容器產(chǎn)生的日志，通過輸出到logagent傳輸給Kafka，最終通過日志的存儲和檢索、日志監(jiān)控、日志追蹤分發(fā)給大數(shù)據(jù)。大多數(shù)觀測數(shù)據(jù)來自于服務(wù)網(wǎng)格上報，例如每次過網(wǎng)格時就會把分布式追蹤的上下文報下來，但實際上網(wǎng)格是沒有覆蓋到底下的各種存儲、MySQL、Redis或者其他存儲，這類數(shù)據(jù)是通過解析日志上報上來的。

在檢索存儲系統(tǒng)的改造上，由于Ingester是一個訂閱Kafka系統(tǒng)，它會以塊（一個塊大概幾十兆）的形式寫到本地化存儲中，并且對塊上的pod信息、日期、服務(wù)建立索引。這時，它就會自動進行冷熱沉降，例如本地有一個7T存儲盤，它將預(yù)留80%，如果超過7T容量，就自動開始往對象存儲上沉降，并把最熱的數(shù)據(jù)放在本地，歷史數(shù)據(jù)放到對象存儲中。然后，在對象存儲中把超過30天的數(shù)據(jù)歸檔到冷存儲中。當(dāng)需要查詢數(shù)據(jù)時，就會對下邊所屬的集群同樣發(fā)出Query請求，并通過數(shù)據(jù)找到這個塊所在的位置，對塊進行查詢。

呂亞霖表示，這并不是一個檢索系統(tǒng)，而是分布式計算系統(tǒng)。其優(yōu)勢在于按塊存儲當(dāng)數(shù)據(jù)寫入時吞吐量非常高，因此我們并不需要建立索引，只需要建立一個簡單的基于塊的索引信息就可以了。另外，由于采用了歸檔沉降，將超過30天的數(shù)據(jù)進行三級歸檔后進入冷存儲，冷存儲的成本就會比較低。進行數(shù)據(jù)查詢時，采用了全量的并發(fā)查詢，只需要通過簡單的命令就能夠能夠拿到結(jié)果。

通過日志云原生改造，作業(yè)幫將1%的數(shù)據(jù)存儲在本地盤，實現(xiàn)了0.35元/GB/月；5%的數(shù)據(jù)經(jīng)過90%的壓縮后存儲在對象存儲中，實現(xiàn)了0.12元/GB/月；94%的數(shù)據(jù)經(jīng)過90%的壓縮后存儲在深度歸檔存儲中，實現(xiàn)了0.03元/GB/月，參考自騰訊云廠商目錄價。

在監(jiān)控云原生改造上，作業(yè)幫采用了Prometheus體系，通過將VictoriaMetrics替換到Prometheus內(nèi)部的TSDB。除此之外，還在VictoriaMetrics之前加上了Remote-write組件，支持所有Prometheus遠程寫入，同時通過寫入一個VM標(biāo)準(zhǔn)集群和降準(zhǔn)集群來進一步降低成本。通過改造，標(biāo)準(zhǔn)集群的高精度只會保留半年，降準(zhǔn)可以保留到三年以上。

在分布式追蹤云原創(chuàng)改造過程中，作業(yè)幫使用CK替代ES，寫入提升了40%，CPU下降了80%，磁盤下降了50%。另外，還實現(xiàn)了服務(wù)網(wǎng)格、日志分析上報，業(yè)務(wù)無感全覆蓋全采集。

四、基礎(chǔ)設(shè)施多云多地域融合

在IT基礎(chǔ)設(shè)施中，使用GPU算力所帶來的成本非常高。呂亞霖以GPT-4為例，通過一組數(shù)據(jù)詳細(xì)介紹了GPU帶來的高算力成本。

以GPT-4當(dāng)前的價格做一個簡單的估算，假設(shè)日活躍用戶達到1000萬DAU，5000token / DAU，并且不考慮其他的費用，每天產(chǎn)生的費用為：10M * 5000 tokens * $15 / 1M tokens = $75萬，非常昂貴。

另外，受用于大模型的GPU價格昂貴、以LLM為代表的大模型參數(shù)規(guī)模變大、業(yè)務(wù)場景下的推理算力利用率不足三個方面因素的影響，使用自有服務(wù)器的成本也比較高。

呂亞霖認(rèn)為，容器化是解決高算力成本的基石。他表示，容器化能夠使資源透明地、快速地部署到各個IDC，打平計算、存儲、網(wǎng)絡(luò)等IaaS底層資源，實現(xiàn)資源的透明部署，并同時支持服務(wù)觀測、服務(wù)網(wǎng)格、服務(wù)注冊發(fā)現(xiàn)等上層服務(wù)的治理。

為了解決GPU高算力所帶來的成本問題，作業(yè)幫進行了GPU推理容器化的改造，并通過GPU算力網(wǎng)絡(luò)多地域的融合，實現(xiàn)了動態(tài)流量調(diào)度、傳輸協(xié)議自動切換、超高壓縮率、動態(tài)容量調(diào)度和密集部署，算力和顯存使用率提升30%。

演講最后，呂亞霖指出，在云原生成本優(yōu)化中，要首先發(fā)現(xiàn)浪費，然后再制訂合理的成本優(yōu)化方案。在成本優(yōu)化時，要堅持自上而下，先易后難的原則。此外，要從平臺系統(tǒng)化、面向應(yīng)用服務(wù)的成本中心、面向基礎(chǔ)架構(gòu)的成本中心三個方面出發(fā)，要持續(xù)進行優(yōu)化，才能更好地降低成本。

嘉賓介紹

呂亞霖，2019年加入作業(yè)幫，作業(yè)幫基礎(chǔ)架構(gòu)-架構(gòu)研發(fā)團隊負(fù)責(zé)人，主導(dǎo)了作業(yè)幫多云云原生架構(gòu)演進，負(fù)責(zé)作業(yè)幫容器化建設(shè)、服務(wù)治理體系建設(shè)、多云建設(shè)、應(yīng)用框架&中間件升級適配、服務(wù)穩(wěn)定性保障。對容器化、微服務(wù)框架、服務(wù)治理、DevOps等有大量一線實踐。