微服務高可用難實現?是時候學學微服務治理了
原創【51CTO.com原創稿件】一直以來,微服務都因其易擴展、易部署、易演進、開放性強等優勢被業界廣泛使用,但微服務化的架構給系統帶來優勢的同時,也帶來了一些服務治理上的困難。
尤其在近幾年,隨著系統規模的不斷擴大和云原生技術的廣泛應用,服務化的要求使系統的復雜性進一步提升,很多原有的服務治理技術和思路變得不再有效,這對大規模服務的治理提出了更大的挑戰。那么在這種情況下,我們是否可以從技術創新的角度出發,嘗試利用一些新技術去解決服務治理中的諸多痛點,實現服務的精細化治理。
為幫助開發人員及企業認識并解決在大規模服務治理中可能出現的系統韌性、可觀測性、失敗容忍性、服務注冊發現及系統資源成本控制、性能優化等方面問題。我們在本屆WOT全球技術創新大會“大規模服務治理”專題中,邀請到了來自百度、字節跳動、快手等一線大廠的資深技術專家,結合自身實踐經驗,為大家分享大規模服務治理過程中所遇到的挑戰和解決之道,希望能夠給大家帶來一些新的啟發,幫助大家找到建立完善微服務治理體系的方法。
演講內容一
演講主題:混沌工程在百度搜索的探索、應用和思考
演講嘉賓:徐志明 百度搜索穩定性團隊高級研發工程師
內容簡介:
混沌工程提倡在生產系統上進行實驗,以建立抵御故障的能力和信心。近年來,混沌工程取得了快速的發展,但在工程的具體實施方面,業界尚無標準方案,各公司在混沌工程的落地上有著自己不同的方法。百度搜索,作為國內領先的高可用系統,在混沌工程方向上也較早的進行了探索和實踐。在此過程中,我們遇到并克服了諸多挑戰,積累了一些經驗和思考,也掌握了一些創新技術,本次分享將為大家進行上述內容的逐一介紹。
演講提綱:
一、混沌工程簡介:混沌工程的提出背景、發展歷程及原則
二、百度搜索引入混沌工程的背景:
-
百度搜索系統介紹
-
引入混沌工程的必要性
三、百度搜索落地混沌工程的思路:
-
故障場景的分級分類
-
服務的韌性打分
-
搜索的弱依賴標準
-
故障容錯能力刻畫和例行巡檢
四、落地方案和效果:
-
技術層面:平臺能力持續建設、搜索系統適配升級、復雜故障場景能力建設
-
文化層面:通過能力驗收、活動保障、項目支持、gameday等方式推廣混沌工程文化
-
混沌工程對百度搜索系統帶來的效益
五、演講總結與未來展望
演講內容二
演講主題:微服務節點分片訪問技術
演講嘉賓:馬子昂 字節跳動資深架構師
內容簡介:
微服務的無狀態和可任意伸縮的特點為微服務體系帶來了很大的靈活性。在微服務的服務發現過程中,請求方會默認獲得全量的節點,復雜均衡策略同樣會使用全量節點,這使得在節點數量過多時,會產生一系列問題。但有時,在保證穩定性的前提下,服務其實并不需要訪問所有的節點。因此,我們在此基礎上,提出了分片優化、就近優先訪問等技術,并在生產上成功落地并獲得了收益。本次分享我將為大家帶來這些技術的實踐經驗。
演講提綱:一、全實例負載均衡問題:
-
負載均衡器的消耗
-
訂閱的信息傳輸壓力
-
長連失效
二、分片探索踩下的坑三、按需訪問的實踐四、實際穩定性與收益五、未來展望
演講內容三
演講主題:快手萬億級監控體系建設與場景化落地
演講嘉賓:陳帥 快手業務監控負責人
內容簡介:
快手監控體系已由每天千億記錄成長到萬億級別。在此過程中,我們遇到了諸多挑戰,迫使我們在體系布局、用戶體驗、性能優化、成本控制、價值輸出等方面不斷做出改變。本次分享將向大家介紹快手監控體系建設與落地過程中面臨的技術挑戰和相應的解決方案。
演講提綱:
一、監控體系布局—介紹快手基礎監控、服務監控、業務監控、日志監控、Trace從采集到存儲、繪圖、報警的架構模型:
-
傳輸與存儲采用 kafka+clickhouse 方案
-
繪圖采用 Grafana 引擎
-
報警采用基于 Grafana 報警引擎開發的異構數據源通用引擎+報警網關
二、挑戰逐步突顯—介紹基礎監控、業務監控在流量快速增長過程中面臨的集群壓力、性能壓力、場景多樣、存儲成本等問題,以及我們的實踐方案:
-
通過租戶拆分、冷熱分離、數據降維、查詢采集、后端緩存回事、前端懶加載等方案提升查詢性能
-
通過數據降維和 Clickhouse 表結構優化降低存儲成本
-
采用 clickhouse 解決基礎指標體系指標聚合和多維查詢
三、生產變更故障止損 - 監控阻斷:
-
監控阻斷的背景和目標:生產環境xx%的故障因變更觸發引起,目標是以變更為切入點,攔截生產故障,及時止損
-
架構設計:將診斷方、變更方分層,形成一個可擴展的標準框架,允許多方接入,提升覆蓋率
-
業務收益:攔截住多少問題上線單,評估可能攔截的故障隱患
四、全景視角定位問題 - 監控巡檢:
-
用戶痛點:定位問題過程中最核心的痛點是不知道問題在哪兒
-
監控巡檢的背景和目標:幫忙用戶自上而下、由大到小定位問題
☆ WOT全球技術創新大會2022 ☆
2022/4/9-4/10
???
WOT全球技術創新大會2022是51CTO中國技術社區為廣大技術從業者精心打造的WOT2.0升級版。大會專題覆蓋包括人工智能、數據安全、音視頻、大數據、架構、開源、云原生、前端、研發管理、算法、金融科技、微服務等眾多方向。
本屆WOT大會預計1500人參會,100余家企業合作,60位專家分享。大會不僅邀請到騰訊、阿里、百度、58、大搜車等一線互聯網大廠的技術專家,為大家進行獨家技術干貨的分享。還特別邀請到數位國內頂尖技術科學家,為大家詳細解讀國內重點技術創新戰略及相關政策。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】