在萬物上云的時代，多云架構已經成為企業上云戰略的重要趨勢。據IDC報告，到2023年，全球85%的企業將采用多云架構。與單一云服務相比，多云架構具有更高的彈性和可擴展性，可以更好地應對企業的業務需求和突發的云服務問題。

然而，如何讓不同的云平臺之間實現業務系統的無縫對接？如何將資源利用率發揮到極致？為了防止出現“信息孤島”等問題，云原生的實踐者們不斷探索多云環境下的解決方案。

在11月10日-24日舉辦的“乘云·向未來”火山引擎公共云·城市分享會上，火山引擎以“字節跳動多云演進及降本實踐”為題，介紹分享了字節跳動多云算力架構和火山引擎云原生技術，以及如何解決多云環境下的部署、運維、數據和成本等挑戰。

以下為演講實錄：

字節跳動為什么選擇多云

火山引擎技術脫胎于字節跳動的技術，同時融入到字節業務中。伴隨字節業務的發展，火山引擎的技術也在不斷發展進步。

談到多云化，大家會談到字節為什么選擇多云？概括起來講是三個原因。

第一是業務性方面的訴求。2017—2018年，抖音快速發展從1萬DAU增長到1億DAU，有著極大的資源需求，而任何單朵云都不能在短時間供應，這個時候選擇多云是業務發展不可回避的問題。同時，不同的業務有不同的硬件和算力需求，而不同的云服務商也有不同的算力供給。企業在選擇云服務時，會考慮稀缺資源和業務支撐的因素。直播電商近年來風靡，需要分布式資源的支撐。如果自建IDC和資源，業務上會耗時較長，隨著業務發展，企業采購云資源是必要的。

第二個重要因素就是經濟性。具有大量互聯網化業務的公司，如果持有大量資源，會造成一定的經濟損失，所以會選擇云服務進行支撐。還有，不同資源的成本不同，所以不同公司也會根據自己的需求，選擇合適的云服務商。

第三個重要因素就是安全性。數據主權、安全合規、防綁定等問題，會導致企業在業務發展中不自覺地選擇多家云服務商，形成多云的現象。

由于上述問題的存在，字節跳動的技術團隊堅定地選擇了多云作為基礎架構發展的主要路徑。

字節多云下的云原生之路

那么在多云情況之下，如何用好云呢？這是一個非常關鍵的命題。在談如何用好多云之前，先回顧一下字節跳動多云下的云原生之路。

2016年，由于字節跳動不同業務使用了不同的自管資源，導致出現了資源浪費、管理開發、運維困難、容量口徑不一致等問題，影響了業務的穩定性和效率。伴隨頭條的快速增長，字節跳動啟動了云建設。

2017年，互聯網競爭格局加劇，我們需要大量開發人員快速開發和迭代系統，這時候就要招聘大量的開發人員。但是新招聘的開發人員不熟悉公司的開發體系，需要培訓和適應。如何讓開發人員用自己的原生熟悉的方式，快速進入到業務的開發過程中，從而對業務的發展起到助力作用，這是不得不解決的問題。由于各個團隊技能不一樣，開發出來的業務系統也會對線上的互聯互通相應的管理治理造成一些挑戰，所以需要把這些技術和經驗沉淀下來。于是，我們采用了服務網格的架構，統一監控告警的方式，支持多種語言適配服務網格，幫助不同業務開發人員快速進入業務迭代中去，把服務治理能力、穩定性治理能力、流量調動能力等公共能力沉淀到底層平臺，賦能平臺的發展。

我們在2019年做了很多市場活動，比如央視春晚紅包，需要大量的云資源。我們的推廣業務原來是大顆粒的，要適配和調優不同的云，成本很高。這種局面之下，對于推廣大顆粒的業務而言，要去適配不同云的資源，又產生了適配和調優成本。在活動過程中我們發現，有一些推廣側的業務，可以進行一定程度的降級，額外節約出來很多資源，更好地支撐對應活動的展開。如果還像過往方式展開，成本是非常不經濟的，因此需要提高云資源彈性，更敏捷地響應活動需求，從而降低資源成本。

2020年，隨著推廣業務完成演進，通過把離線在線混合在一起，提高了使用率。我們對存儲進行了大范圍的改造，推高了整體的運行效率。

業務發展過程中，由于資源需求很大，我們經常要在多云之間切換，增加了運維成本。云原生應用多云的能力幫助我們節省時間，快速適配不同的云。目前，抖音和頭條能夠實現1周左右快速適配不同的云，快速解決云的切換，這對業務來說是非常有幫助的。

2021年，從資源多云到應用多云，字節跳動正式實現了全場景應用編排和資源管理的標準化和統一化。

字節今天擁有500多個k8s生產集群，其聯邦管理節點數超過21萬，單集群規模達到20000以上，微服務數超過10萬級別。每天，生產系統有3萬次服務更新，這為迭代和創新提供了強大的支撐，同時保證了業務的穩定性。此外，離線任務容器數高達240M+，通過云原生的混合部署，有效地節省了企業的資源成本。

多云面臨的四大挑戰

多云發展的整個過程，并不是一帆風順的，需要解決各個方面的問題。總結來講，是以下四個點：

• 部署/運維復雜度：應用/服務多云部署方式，容器、主機、云上服務等不同類型的部署方式都額外增加了部署和運維的難度
• 打通/互操作性：網絡打通、身份/權限打通、運維打通、數據訪問打通、流量管理，多云條件下，帶來互操作性的復雜度
• 數據管理/合規難度：數據離散分布之后數據資產的管理難度加大，數據合規挑戰加大、數據泄漏風險和追蹤難度加大
• 成本控制復雜度：業務、成本、資產的管理難度

字節多云算力架構

從字節跳動業務部署情況來看，整體形成了「多云管控+多云多活」的模式。在本地，采用多地方部署的方式，通過底層的存儲技術，打通了本地多地方之間的差異性；通過網絡層面的專線，實現了近距離的一體性。這樣，不同的業務單元可以靈活地分配在不同的機房。

另外，通過多云、遠程等方式，為業務提供了靈活的容災能力。為了保持多云層面的穩定性，沒有采用多機房的方式。當某個國家或省份的業務出現問題時，可以在不同的機房進行流量調配，保證業務的連續性。

在數據安全可回溯性方面，我們采取了以下措施：通過整體數據雙向同步網關，保證了可追溯性和數據外出的透明性；通過多控制面，保證了整體的容災性；通過超級控制面，確保了一致性體驗。這樣，不同地域的開發人員可以在同一個平臺上進行作業，提高了業務開發的效率和穩健性。

今天整個字節跳動多云算力架構分為兩大算力平臺：一是分布式云原生平臺，它將不同地域的公有云、信息群和地域性的資源統一納管；二是離線實時計算平臺，它有不同類型的存儲服務，通過大數據加速技術，將不同的數據關聯起來，并為上層的各種計算類型提供統一的視圖，使得上層的各個系統變得更加簡單。

然而，這種架構依然呈現出兩種計算類型或體系的結構，如何讓資源利用率更高呢？為了解決這個問題，字節跳動采用了以下兩個策略：一是云原生離線調度Serverless Yarn，它可以簡單地適配各種開源的離線調度工具，無需對業務進行改造，就可以接入在線的統一資源管理。通過這種方式，成功將離線和在線的資源融合在一起，混合運營在一起。二是離在線混部調度器Katalyst，它可以感知離在線的差異，提高云原生的調度能力，提升整體的資源利用率。此外，還有離在線資源管理器，它是一種云原生的資源管理工具，可以在運行過程中，精確地控制資源的使用，保證業務的穩健性。

降低運維部署以及離線資源管理復雜度

如果更進一步深入看，在分布式云原生平臺上，為了支撐在線業務，提供了以下幾種能力：

1、統一資源管理能力。這里包括多集群納管能力，它可以連接多地域、多基礎設施之上的集群，無縫接管業務在多種云上的存量集群，還有統一資源監管的能力，通過統一的控制鏈和界面，方便管理和調度資源。

2、統一應用管理。統一的應用分發能力可以根據用戶的策略、集群的特征、業務的層面和依賴關系，進行多樣化的分發策略，讓業務無需關心底層的細節。另外，為了連接不同云上的集群，還需要完全兼容現有的生態。如果在歷史和業務層面上存在不兼容的問題，就會在接入過程中遇到挑戰。因此，接管應用體系之后，還要提供更強的運維和治理能力。

3、統一應用觀測，通過對各種系統的集群層面上的統一收集，可以進行更強的感知。一旦遇到問題，除了集群本身具備的自我恢復能力，還可以通過智能化手段，讓運維人員及時進行處理。

4、統一治理。為了解決地域性的穩定性問題，我們也提供了一些統一的授權管控、服務追蹤、流量治理等能力，可以靈活地調配資源，保證業務的穩健運行。

另外，統一資源湖偏向于離線的算力平臺。我們對數據的使用做了一些圖層面上的整合，我們發現，在多云的情況下，如果一個公司是深度使用數據的，其90%以上的數據都是相互關聯的。這就給單業務層面上的單元化部署帶來了很大的挑戰。業務無法給出準確的答案，如何擺放資源，如何處理相應的關系。為了解決這個問題，很多方案是把離線的算力連成一片，但這對多機房層面上的算力調度和存儲遠程拉取帶來了挑戰，同時又會造成專線無限制的被使用。

字節跳動內部采用資源湖的方式，通過數據驅動的理念和技術工具，可以做到智能化的感知，根據需要甚至提前進行資源的搬遷。比如，通過把A機房的資源搬到B機房，就可以快速地加速業務運行。所有這些搬遷動作都是自動化，都是通過資源湖和基于云原生的就近計算技術，完成自動化的搬遷能力。通過這種方式，把離線計算速度提升了1.3—1.4倍，節約了30%—60%帶寬。

此外，還有一個非常重要的能力，就是對離線帶寬的調度。因為離線帶寬有限，如果不進行調度，就會影響業務的穩定性。這就是離線算力平臺帶給業務和上層計算引擎的好處。通過資源湖進行統一管理，通過ServerlessYARN解決云原生的問題，我們可以實現離線算力平臺的高效運行。

降本之提升資源利用率

解決離在線問題的一個有效手段是靠隔離，那么如何進行更好地隔離，如何進行更加精準地隔離？這是一個很大的挑戰。

在字節跳動內部，我們根據作業的延時敏感程度和業務的不同，進行兩個維度的劃分，實現分級化作業管理。根據CPU、IO和網絡的不同，選擇不同的隔離方案，有經驗型的，也有業務自配型的，還有機器學習出來的適配模型。通過把隔離手段精準地應用到對應的業務上，實現離在線的完美結合，保證資源的充分利用，不影響在線的穩定性。這是字節跳動的實踐。

今天，我們實現了幾十萬臺服務器的常態化在離線混部，這套技術在多云和多集群下帶來了很多好處。但是，實現這一過程并不容易，需要很多的歷程和技術開發工作。

我們根據技術難度和落地難度，總結了一些常態下可以使用的手段，包括：一是應用畫像的透視，可以對應用的特征和需求進行分析；二是規格的智能推薦，可以避免資源的浪費和不足；三是高低峰的分配，可以根據業務的波動進行調整；四是針對活動的離在線能力，可以應對突發的情況。這些資源效能能力，都是原子能力，可以被應用任意組合使用，降低資源使用成本。

多云的未來發展趨勢

在回顧字節跳動的發展歷程后，我們再來看看多云層面上的未來趨勢。我們發現，有以下幾個方面的變化：一是隨著AI技術的發展，特殊架構的算力，如GPU、FPGA等崛起了，這就給管理這些算力帶來了額外的挑戰，這是多云層面上必須考慮和面對的問題；二是如何把這些算力更精準地匹配到不同的業務上，這也是一個挑戰。我們需要對算力的效率和業務之間的匹配，有更精準的感知；三是由于不同云和地域帶來的成本差異，我們需要對這部分進行感知；四是不同業務對于延遲層面的要求不同，我們需要對業務的體驗進行感知。這些都會造成整個分布式云和多云層面，在未來發展上，需要更加精準的自適應和智能感知的能力，這是在資源和調度上呈現出來的趨勢。

此外，我們還介紹了字節跳動在數據合規方面的一些手段，以及一些更加智能化的手段。最近幾年，隱私增強的計算，如聯邦學習、數據安全等，實現了跨云、跨用戶的數據交互和計算，而不是數據交換。這就防止了數據的泄露，提升了合規和安全性。

最后，隨著多云化的不可避免的趨勢，管理、使用、運營都會帶來更多的挑戰。整個應用層面，也必然向多云化轉變。對于各家廠商和用戶而言，需要更強的針對多云的平臺，從而能夠提升他們的體驗和效率。這樣的平臺，必須是開放和標準的，才能夠實現互聯互通和多云協同。