數(shù)字經(jīng)濟時代下，云計算已成為推動企業(yè)數(shù)字化轉(zhuǎn)型的重要引擎。越來越多的企業(yè)開始借助云計算提高業(yè)務效率并減少運營成本。然而，云計算也面臨著很多挑戰(zhàn)與難題，比如云服務的選擇、成本、安全性、可用性、擴展性等。如何在云時代，構建一個高性能、低成本、安全可靠的技術體系，是眾多企業(yè)和開發(fā)者關注的重點話題。

在11月10日-24日舉辦的火山引擎公共云·城市分享會上，火山引擎以“字節(jié)跳動基礎設施云化實踐”為題，介紹了字節(jié)跳動的基礎架構技術體系和大規(guī)模實踐，以及字節(jié)跳動和火山引擎的“內(nèi)外統(tǒng)一”研發(fā)體系，展示了字節(jié)跳動在云原生領域的探索和創(chuàng)新。這些技術體系，不僅支撐了字節(jié)跳動內(nèi)部的海量業(yè)務和高峰流量，也為外部的客戶和合作伙伴提供了云服務能力，共享云時代的紅利。

以下為演講實錄：

字節(jié)跳動的基礎架構技術體系

字節(jié)跳動生于云、長于云，是一家云原生公司，也是云時代的原住民。自2012年成立以來，字節(jié)跳動始終堅持擁抱云計算。為什么說字節(jié)跳動是一個云時代的原住民呢？因為字節(jié)跳動廣泛使用過各種云服務。

字節(jié)跳動認為多云是一個必然的趨勢，因為多云可以讓企業(yè)更靈活，更自主，更高效。有人可能會問，云服務不是很貴嗎？其實，如果你是一家初創(chuàng)企業(yè)，你需要考慮的不僅是云服務的費用，還有自己購買和維護服務器的成本，以及招聘和培訓系統(tǒng)管理員的投入。相比之下，云服務可以讓你節(jié)省大量的時間和金錢，只需動動鼠標，就可以在云上獲取你需要的資源。而且，你不需要擔心資金鏈的問題，你可以按需付費，根據(jù)業(yè)務的變化，隨時調(diào)整資源的規(guī)模。這些都是火山引擎可以為你提供的服務。

圖片

字節(jié)跳動的基礎架構技術體系，是在過去十年的業(yè)務發(fā)展過程中逐步建立和完善的，它涵蓋了從系統(tǒng)、存儲、數(shù)據(jù)庫等最基本的基礎設施，到云服務器、云存儲、云數(shù)據(jù)庫、云原生計算等高層的服務，再到研發(fā)體系的各個方面。字節(jié)跳動的基礎架構技術體系，具備實時推薦、實時計算等特征，能夠支持海量的業(yè)務流量和高峰壓力。其中，池化存儲ByteStore、統(tǒng)一資源調(diào)度Godel等，是字節(jié)跳動的核心技術，它們與火山引擎相結合，形成了業(yè)務無感、資源融合、技術一體的“內(nèi)外統(tǒng)一”研發(fā)體系，更好地承載了字節(jié)跳動內(nèi)外的業(yè)務發(fā)展。

字節(jié)跳動基礎架構核心技術體系 - 池化存儲 ByteStore

圖片

火山引擎的核心技術是基于ByteStore的池化存儲存儲，這種存儲的好處是它提供了一個底層的存儲機制，讓上層可以根據(jù)自己的需求來設計存儲策略。基于ByteStore，可以實現(xiàn)數(shù)據(jù)庫、文件系統(tǒng)、對象存儲等多種應用，統(tǒng)一存儲在一個地方。火山引擎的設計初衷是通過這樣一個底層的存儲基礎設施，來滿足性能、成本、安全性等各方面的要求。

當然，這并不容易，火山引擎也參考了很多業(yè)界的實踐和開源的方案，但是發(fā)現(xiàn)它們都存在各種各樣的問題，比如調(diào)度問題、容錯問題、一致性問題等，這些問題在開源的方案中都不能很好地解決。火山引擎的所有的投入和改進都是為了提高系統(tǒng)的可用性，讓系統(tǒng)能夠穩(wěn)定地運行，支持字節(jié)跳動的各種業(yè)務，服務廣大的用戶。不管是底層的存儲結構，還是上層的一致性協(xié)議，其實都是非常復雜的，沒有經(jīng)過大規(guī)模系統(tǒng)的考驗，是無法滿足業(yè)務的需求的。

池化存儲 ByteStore這項技術的發(fā)展歷程也是非常驚人的，它從2018年之前開始立項研發(fā)，到2020年，這套系統(tǒng)只有26臺服務器，2000多個PD的使用空間，但是隨著業(yè)務的增長，這個規(guī)模也迅速擴大，到了2023年8月，線上的服務器已經(jīng)接近十萬。這既是字節(jié)跳動業(yè)務帶來的壓力和挑戰(zhàn)，也是火山引擎技術成熟的動力。正是因為字節(jié)跳動的海量業(yè)務和高峰流量，讓火山引擎或者字節(jié)跳動的基礎設施，能夠展現(xiàn)出它們的價值和優(yōu)勢。

字節(jié)跳動基礎架構核心技術體系 - 統(tǒng)一資源調(diào)度 Godel

圖片

Godel是一個基于ByteStore存儲架構的資源調(diào)度系統(tǒng)，可以實現(xiàn)離線和在線的混合調(diào)度，支持海量的業(yè)務和算力需求。Godel的設計參考了業(yè)界的先進經(jīng)驗，比如谷歌的Borg等，但是也克服了開源方案的諸多局限，比如K8S的可用性、擴展性等問題。   

Godel的一個重要特點是，可以同時調(diào)度離線和在線的任務，而不會互相影響。這是一個非常困難的問題，很多公司都嘗試過，但是效果不理想。而Godel可以做到完全的資源動態(tài)調(diào)度，根據(jù)業(yè)務的歷史情況和預測，可以在30分鐘內(nèi)，把集團的算力彈出100萬，或者在白天壓縮到最小，實現(xiàn)真正的彈性。

Godel的另一個優(yōu)勢是，可以和火山引擎無縫對接，更好地承載字節(jié)跳動內(nèi)外的業(yè)務發(fā)展。字節(jié)跳動擁有上百萬臺服務器，白天時間不需要大規(guī)模計算時，可以把這部分資源作為彈性資源，供給給客戶。這樣，客戶就可以享受到更低的成本，更高的性能，更好的體驗。當然，這里面還有很多挑戰(zhàn)，比如資源的分配、優(yōu)化、隔離等，這些都是Godel需要不斷探索和解決的問題。

字節(jié)跳動基礎架構核心技術體系 - 實時推薦特征&實時計算規(guī)模

字節(jié)跳動在計算機領域，經(jīng)歷了很多的探索和實踐，也走過了很多的彎路，才能夠形成今天的技術體系和能力。其中，實時推薦特征是一個典型的案例，它是字節(jié)跳動的核心業(yè)務之一，也是火山引擎的重要應用場景之一。實時推薦特征，是一個涵蓋了從數(shù)據(jù)采集、處理、分析，到特征提取、存儲、服務的完整的標簽體系，可以根據(jù)用戶的行為和偏好，實時地給用戶推薦最合適的內(nèi)容。

實時推薦特征的背后，是海量的數(shù)據(jù)和算力的支撐。實時推薦特征產(chǎn)生的實時計算規(guī)模十分龐大，有超過10萬臺服務器，有2萬個CheckPoint作業(yè)數(shù)量，6萬多個Flink作業(yè)，超過900萬個Flink作業(yè)CPU總數(shù)，消息處理峰值超過120億，這些都運行在字節(jié)跳動的原生基礎設施上，是實時計算規(guī)模能力的體現(xiàn)。

字節(jié)跳動基礎架構大規(guī)模實踐    

圖片

字節(jié)上云的大規(guī)模實踐也是很“痛苦”的，基本上很難找到完全無損的上云方案。但是我們能做的是把上云過程中對業(yè)務的干擾盡量降低，同時把這個過程盡可能變得無縫。上云業(yè)務的必要性是什么？我們對云提出了三個最基本的要求：

• 第一是高可用。概括來說，就是動態(tài)調(diào)度能力、容災能力以及多機房切流。
• 第二是資源與成本。這個一般是上云最首先要考慮的問題。當前環(huán)境資源不足，難以滿足業(yè)務高速發(fā)展的需求，資源問題已經(jīng)變成業(yè)務發(fā)展和技術架構演進的主要瓶頸問題之一。應對資源的峰值利用需要堆更多資源，其余時間空閑造成業(yè)務成本高。
• 第三是對研發(fā)體驗的要求。要盡可能讓業(yè)務少配合、少改造，更快適配云上的資源。所以，從做云計算的第一天開始，火山引擎的所有云產(chǎn)品就遵守了“不做我的客戶”原則，意思是我們提供的所有能力都是標準的、通用的。比如，MySQL數(shù)據(jù)庫是標準的MySQL數(shù)據(jù)庫，你從火山引擎官網(wǎng)上下載的MySQL跟字節(jié)自用的是一樣的。

那么為什么要上云？首先，業(yè)務降本。上云可以優(yōu)化人力資源，讓研發(fā)專注于業(yè)務創(chuàng)新，而非基礎運維和架構。IT降本的關鍵是實現(xiàn)資源的動態(tài)彈性分配，減輕業(yè)務的成本壓力，提高資源的利用率。其次，業(yè)務提效。傳統(tǒng)數(shù)據(jù)庫利用率一般不應該超過10%，但是在云上的數(shù)據(jù)庫在調(diào)度平臺的加持下，利用率可以到非常高而不影響業(yè)務。此外，各家組件非常復雜，一個中型業(yè)務便涉及數(shù)據(jù)庫、操作系統(tǒng)、IDC資源、中間件、各種調(diào)度平臺，而人的能力是有限的，因此，需要云服務商實現(xiàn)統(tǒng)一管理并簡化兼容及迭代策略。  

上云之后可以解決哪些問題呢？上云后將統(tǒng)一由火山引擎提供服務。火山引擎提供標準公有云IaaS、PaaS組件，且保障資源量、SLA；每日峰值流量使用彈性云資源，不需要為空閑付出成本；賬戶間強資源隔離，通過火山引擎的資源調(diào)度能力，杜絕爭搶問題。

通常我們建議業(yè)務在遷移過程中做流量回放，提前發(fā)現(xiàn)和解決問題，而不是等到上線后才發(fā)現(xiàn)。然而，哪怕我們做了那么多準備工作，在云下切換到云上的過程中仍然遇到了很多不可預知的問題。比如存儲組件失誤，業(yè)務監(jiān)控劣化，上云同步組件BUG等。我們不是要給大家展示一個完美的火山引擎，而是要給大家提供一個足夠好的系統(tǒng)，提供基礎的業(yè)務能力，承諾不綁定、開放接口和業(yè)務共同成長。

上云的短期收益是顯而易見的，主要體現(xiàn)在三個方面：

• 業(yè)務穩(wěn)定性：火山引擎的業(yè)務架構設計避免了單點故障的風險，提高了系統(tǒng)的可靠性和可用性。同時，火山引擎售后保障體系支持得更及時，響應速度更快。
• 研發(fā)體驗：火山引擎的開源組件保持了與線下一致的接口和功能，讓研發(fā)人員無需做額外的適配和定制，即可享受到云上的靈活資源調(diào)撥和穩(wěn)定可靠的開源環(huán)境。
• 性能收益：云上資源充足且隔離，容器平臺和調(diào)度系統(tǒng)保證了業(yè)務之間的高效協(xié)作，降低了故障的發(fā)生概率。pod穩(wěn)定性提升，單實例問題明顯減少。 

圖片

長期收益是可以預估的，從基礎設施的角度來看，主要體現(xiàn)在三個方面：

• 研發(fā)更專注于業(yè)務：云上組件快速迭代，不會出現(xiàn)線下的“孤兒產(chǎn)品”和版本不一致的問題，讓研發(fā)人員始終使用最新的技術和功能。云上組件無需運維，讓研發(fā)人員不需要關心底層組件和基礎設施的事情，可以更專注于業(yè)務的開發(fā)和創(chuàng)新。
• 云上穩(wěn)定性更好：云上產(chǎn)品提供了非常好的高可用保障，無論是單機房還是多機房，都可以實現(xiàn)靈活的故障轉(zhuǎn)移和恢復。云上提供租戶維度的管理，隔離性更好，資源調(diào)度更加靈活。云上產(chǎn)品可以實現(xiàn)細粒度的運維，可以針對單個容器進行監(jiān)控、調(diào)試和優(yōu)化，提高了運維的效率和質(zhì)量。
• 長期綜合成本下降：通過云上的彈性資源、組件能力、運維保障體系，可以節(jié)省20%左右的綜合成本。

圖片

字節(jié)跳動&火山引擎“內(nèi)外統(tǒng)一”

字節(jié)云和火山引擎都是基于字節(jié)跳動的原生基礎設施和技術體系，為內(nèi)外部的業(yè)務提供云服務和云能力。字節(jié)云是一個整合了多個云平臺的基礎設施層，可以讓業(yè)務無感地切換和使用不同的云資源，實現(xiàn)真正的多云。火山引擎則希望把字節(jié)跳動沉淀的技術和最佳實踐，進行外溢輸出，分享給更多的客戶和合作伙伴，讓他們也能夠受益于云時代的紅利。火山引擎秉承開放、共生、共贏的理念，希望所有客戶都是云時代的原住民，用云原生的方式來重新構建技術體系，通過多云管理的能力讓業(yè)務享受到彈性、高效、安全的云服務，實現(xiàn)真正的云原生。

圖片

字節(jié)跳動的研發(fā)體系正在構建一個內(nèi)部的PaaS平臺，可以融合容器服務VKE、ECS等不同的資源，實現(xiàn)業(yè)務的無感切換。火山引擎是基于字節(jié)跳動的基礎設施開發(fā)的云服務，與字節(jié)跳動的技術體系完全一致，可以為用戶提供云上的最佳實踐。我們的目標是建立一個統(tǒng)一的技術棧，通過火山引擎的接口，開放各種各樣的能力。我們希望能夠承接所有業(yè)務，包括自己的和外部的，隨時提供海量的限制CPU的能力。

在火山引擎看來，云原生是一條剛剛開始的路，還有很多的探索和創(chuàng)新的空間。很多業(yè)務，只是把傳統(tǒng)的基礎設施搬到了云上，而沒有充分利用云的特性和優(yōu)勢，導致了低效和高成本的問題。火山引擎希望能夠通過自己的技術和平臺，引領和推動云原生的發(fā)展，讓業(yè)務能夠以云原生的方式，重新考慮和構建自己的架構和服務，同時也希望能夠和客戶及合作伙伴，一起走在云原生的路上，共同探索和創(chuàng)造未來。