秒拍鄧錚:如何做到面對二十億視頻播放請求而不慌
原創【51CTO.com原創稿件】變化總是在不經意間發生,說不上從什么時候起,我們在刷微博時看到的整個頁面都幾乎被短視頻占據。
受益于移動互聯基礎設備的完善、4G資費的下調及智能終端設備的普及,用戶不再覺得移動端的視頻消費是一件奢侈的事兒,而且拍攝發布分享視頻的成本也前所未有的降低了。據相關報道顯示,目前視頻網站來自移動端的播放量已經超過70%。人們的消費習慣日益碎片化,在微博上播放次數較多的視頻,絕大多數在3分鐘以內。即使這樣,還有很多人在拖進度條,大家就是想盡快看到亮點。
4月14日,秒拍背后母公司一下科技高級研發總監鄧錚,將作為WOTA2017 全球架構與運維技術峰會“高可用架構專場”的演講嘉賓。在前期的采訪中鄧錚這樣對記者說:“作為每日需要處理二十億以上播放請求的大型視頻網站,如何精準高效的將用戶的每次請求迅速的真正實現播放,是充滿挑戰的一件事。”
鄧錚 一下科技高級研發總監
鄧錚是一下科技技術團隊的元老,主要負責整體的后端研發工作。5年半的時間里,他和公司共同經歷了從成立,到秒拍上線、小咖秀的爆發式增長、一直播的發展,再到現在業務進入了穩定增長期的過程。目前,鄧錚更多的精力是和CTO湯力嘉一起在公司研發中心進行新產品的研發,并為三個APP下不同的事業部提供基礎平臺的技術支持。
背靠大樹帶來的壓力
與其他的短視頻應用不太一樣,作為微博投資的官方指定平臺,微博的任何改造都有可能給秒拍帶來突發性的流量增長。因此,秒拍從一開始就要去面對承載微博億級用戶量級平臺的任務,這需要系統具備隨時可橫向擴展的能力。
鄧錚介紹,秒拍很早就在公有云上部署了自己的基礎平臺,使系統在應對突發流量時具有更好的彈性伸縮能力。所有邏輯請求都會考慮兩級的緩存進行分流,來確保數據庫的輕負載。
伴隨著用戶行為習慣的變化及公司產品的發展節奏,秒拍系統大約每一年半會經歷一次整體升級。在業務頻繁迭代的情況下,如何在海量請求下保證足夠高的可用性的同時,以一個好的用戶體驗和較低的成本的方式來提供服務,成為秒拍團隊現在努力的方向。
高性能視頻調度
鄧錚指出,短視頻的播放不同于點播的劇集或是電影,數據會一直保持比較熱的狀態。很多用戶拍完視頻只想給身邊的人分享,這就需要解決數據冷啟動和快速分發的問題。
傳統的視頻播放系統,直接通過CDN地址進行播放。CDN是通過DNS進行調度,無法知道節點的容量,不夠靈敏。例如節點帶寬已經非常滿了,但是請求還是不對地進入。而且在實際應用中,特別是在高峰時段,網絡的抖動現象也會比較明顯。
解決問題需要快速反饋,秒拍海量的用戶實時播放行為就是快速反饋最佳的數據來源。基于種種需求,秒拍研發了一個高性能的社頻調度系統,可以在播放完成時進行上報統計,這樣能得知最準確的客戶播放質量,便于實時修正調度策略。“我們采用細化用戶每次播放請求的上下文,并結合近期內綜合調度大數據,動態的實現了C段IP級別的調度響應及區分,在具體的實踐中也取得了比較好的效果”,鄧錚這樣解釋,并將實現方式簡單歸納為:
- 通過調度系統獲取用戶的真實IP;
- 對IP的累積數據進行動態測試,來發現節點的可用性或對IP的訪問性能相比其他節點有所下降等問,包括IP服務節點的遠近,好壞,節點的負荷等。同時判斷請求是否非法,視頻是否不允許播放;
- 將數據會記入到新的歷史數據,作為后面的加權處理,來得到一個相對精確的調度結果;
- 將每個點對應的不同CDN廠家具體的性能匯總得到一張性能的大表,快速將表反饋給下一個用戶,讓用戶避免訪問該節點,或者調度到其他節點。
鄧錚告訴記者,秒拍高性能調度系統已經一年多的時間,線上運行得一直比較穩定。現在,基本一個節點在出現問題十分鐘左右,就可以具體反應到結果。用戶投訴率在這個系統上線后呈直線下降。
采訪最后鄧錚表示,秒拍在構建這套精準視頻調度系統過程中積累的更多豐富經驗,他將帶到WOTA2017全球架構與運維技術峰會上:“我將圍繞秒拍在海量播放請求下視頻調度中遇到的問題、現存解決方案的不足及我們采用的核心算法,在WOTA2017高可用架構專場展開分享,希望和大家一起交流。”
我們期待鄧錚老師在現場的精彩演講。
World Of Tech 專注互聯網IT技術領域
三大章節,15大技術專場,
50+國內外一線互聯網精英大咖站臺
打造兼顧技術視野、技術實戰、技術前瞻的
密集式干貨集中營!
【Tips】
使用優惠碼【3C4F449DCFFCE9B3】購買參會門票,立享200元優惠!4月10日前支付有效。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】