揭破CDN優化之謎—Tech Neo第十五期技術沙龍
原創【51CTO.com原創稿件】網站特效多加載慢、DDOS攻擊、CPU負載、跨運營商、地區服務器負載等網絡問題,一直是大中小企業的困擾。CDN憑借靈活、便捷、成本低等因素,成為眾企業選擇優化網絡的主流方案。但CDN化并非易事,無論是自建還是商用,總要面臨技術、資金、抉擇等挑戰。
“寒暑平和晝夜均,陰陽相半在秋分”。在這個有意義的節氣,51CTO以“Tech Neo”為主題的技術沙龍第十五期于北京舉行。本次沙龍邀請了來自國美互聯網應用運維技術負責人張高明、美團云技術專家王偉和一下科技架構師賈朝藤三位老師,和近百位開發者共同揭破CDN之謎,分享不同領域的CDN優化實踐之道。
“CDN如何讓網絡更智能”活動現場
國美互聯網CDN方向的實踐
活動以張高明老師分享為開端,主要闡述了國美互聯網在CDN方向的一些實現與痛點。
張高明·國美互聯網應用運維技術負責人
這位互聯網老兵,讓開發者對于智能CDN有了更深的認識,如下圖
如圖中所示,智能CDN由人、AI、大數據、智能DNS、鏈路優化以及智能調試器等六部分組成,形成閉環,環環相扣。
張老師主要介紹國美互聯網在APP、IMG和視頻三方面的CDN優化實踐:
- APP端。做靜態文件優化,采用方式有縮略圖、兩種Cache、短緩存等。
- IMG。采用WebP的格式,兩種圖片、CDN采用UA判斷實現、60%-70%資源占用
- 視頻。推、拉模式選擇、CDN調度器、自適應播放器
當然,在CDN優化過程中,也遇到一些痛點:
- 如ISP(劫持、IP移動端、GFW)
- 如CDN(服務質量、計費方式、個性化需求、朋友非敵人)
- 如用戶(外部、內部)
美團四層負載均衡-MGW
第二位分享的是有開發并部署美團四層負載均衡集群經驗的王偉老師,從分享中開發者可了解到什么是負載均衡,四層與七層負載均衡的區別,以及實現高性能與高可靠的布設技巧。
王偉·美團云技術專家
負載均衡分為硬件和軟件兩種,硬件負載均衡像硬件、人力、時間等成本很高。軟件負載均衡應用更廣泛,如下圖,是美團早期負載均衡結構
早期負載均衡結構存在中斷、過長的協議棧路徑、鎖和上下文切換等問題,解決上訴問題需做PMD驅動、kernel bypass、無鎖設計和對CPU綁定、隔離。
在高可靠方面,美團自研MGW替換早期的LVS,主要解決機器下線導致的問題,升級過程中造成的影響,實現故障的檢測與切換,故障恢復與擴容,提升MGW單機、應用服務等可靠性。
未來,希望進一步自動化升級以及部署上線,使得運維升本變得更低。
秒拍播放鏈路優化實踐
最后一位分享來自一下科技的賈朝藤老師,圍繞“秒拍播放鏈路優化實踐”展開,涉及產品與技術架構、播放之前資源上傳、播放 && 調度歷史演進、轉碼和后續優化方向等細節。
賈朝藤·一下科技(秒拍、小咖秀、一直播)架構師
2013年8月上線的秒拍播放,每日數億視頻播放量,數千位明星入駐,當前秒拍和小咖秀日播放量峰值突破30億次,日上傳量峰值達200萬。技術架構從上至下分為WEB、APP,業務邏輯API,用戶與視頻服務,基于關系、計數、搜索、PUSH、推薦等一些類服務四大層。
如下圖,是播放之前資源上傳流程
播放&調度共經歷了兩個版本,第一是業務邏輯直接返回;第二是基于探測點,CDN日志離線計算CDN質量,調度切量。在自有IP庫及IP庫數據更新維護、防劫持與數據上報&日志分析等方面都進行了迭代。當然,在過程中也會有不可預測的黑天鵝,如新浪S3服務異常、內網中斷,七牛寧波光纖被挖斷等。
在播放調度方面,多家CDN質量調度,快速接入。實現快速返回、弱業務邏輯、輕量,高效、靈活可控。
轉碼服務是不可缺少的一環,如下圖是整個轉碼流程
活動接近尾聲,開發者們的熱情依舊高漲,針對CDN測試、架構設計、安全、備份等細分問題,與諸位老師進行了深度交流。
51CTO Tech Neo技術沙龍是51CTO在2016年開始定期組織的IT技術人員線下交流活動,目前僅限北京地區,周期為每月1次,每期關注一個話題,范圍涉及大數據、云計算、機器學習、物聯網等多個技術領域。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】