個推CTO葉新江:個推大數據系統架構演進
201***rch Summit全球架構師峰會在深圳召開,個推作為本次活動贊助商之一由CTO葉新江為參會者帶來“基于產品規律下的個推架構演進”的精彩主題演講。本次演講給現場諸多企業技術管理者、CTO、架構師深入淺出地解讀了個推的架構演進,分別闡述了個推V1.0、V2.0、V3.0的價值定位和架構關注點。
葉新江在開場時便自豪地為參會者介紹個推:個推是最專業的推送技術服務商,在第三方推送市場上,個推的市場占有率高達90%以上。個推為企業和開發者提供消息推送技術服務和Android、iOS推送SDK,并且支持WEB及服務器端推送API接入,使APP快速集成云推送功能,免去開發成本,有效提高產品活躍度與用戶體驗。一組***的數據可以說明個推目前所取得的階段性成就:SDK接入總用戶達 50 億(其中海外5億)、接入應用超過 35 萬、開發者人數超過 19 萬、獨立覆蓋 8 億 手機終端(海外1億)、日均活躍用戶近 6 億、日分發消息 20 億 條!
個推能夠有如此震撼人心的數據以及如此高的市場占有率,和個推系統的不斷優化演進是分不開的。個推產品從V1.0實時推送、V2.0智能推送到現在的V3.0應景推送,它的系統演進路徑也在發生著變化:從小規模IM產品到大并發的通信系統,個推基于開源基礎部件做了架構的重新設計,而我們知道互聯網公司發展到***必定要朝著大分布系統和大數據系統的方向發展,由此個推基ML/Spark/Hadoop進行了架構演進,包括多地協同、機器學習和流式處理等。
葉新江幽默地用一個“胖子減肥”的故事,向參會者形象生動地說明要想取得良好的收益,激勵是一方面,但危機感和壓力反而是一個更好的方式。他舉了個推與新浪微博的合作案例,把個推比作胖子,而激勵個推成功“減肥”的人是新浪微博。2012年新浪微博鼎盛時期的高用戶量對個推的單機承載能力提出了更高的要求,這對于個推是一個壓力,更是成長。由此把個推1.0的價值定位為:省電(空載耗電15-50mAh/);省流量(空載流量0.8-1.2M/月);高并發(單臺服務器并發200-500萬);高吞吐(下發速率可達50-100萬/秒);超穩定(消息到達率99%以上);超省心(功能開發成本節省90%)。
個推在研發過程中把V1.0的架構關注點重點放在單機承載能力的挖掘上,并且采用普通商業機器非商業軟件、運用單設備多模塊方式降低成本,另外在QoS方面,采用客戶端-AP分離、核心推送功能分離和流控促進產品的穩定,運用網絡智能解析、無狀態的信息交換、應用級平衡負載和分發、高吞吐-異步調用等方式提高產品性能,采用集群、線性拓展的技術保證了產品的可靠性。
對于個推2.0和3.0的價值定位上,可以簡單地用一句話來概括,就是“在合適的時間、合適的地點、合適的場景下將合適的內容推送給合適的人”。這句簡單的話卻包含了個推的產品特色和功能。“合適的時間”可根據個推1.0的實時推送功能自主設定推送時間,“合適的地點”基于地理圍欄技術,智能場景標簽實現了“合適的場景”,在這三個功能的基礎上,采用對比測試技術得出“合適的內容”,***結合智能畫像標簽使得APP開發者能夠把內容實時、精準、高效地推送給“合適的人”。
因此,為保證用戶體驗,個推V2.0的架構關注點重點放在了進一步QoS保證和系統服務化。個推2.0做到了數十億級用戶數據方案規劃、冷熱數據分離、不同客戶分級(域化)、更強的數據檢索能力、應用層網絡優化以及運維規范化自動化;同時在系統方面也做到了統一服務化、服務依賴和治理系統、內部服務拆分、異常模塊自動隔離、服務調用跟蹤等等。個推V3.0的架構關注點是圍繞大數據處理進行的,包括:數據的采集、數據收集的效率、批量處理、流式計算、數據實時檢索、數據可視化和資源管理。
葉新江的細致講解,讓現場參與者知道個推的更加了解個推的產品和技術,讓已經使用個推的更加相信他們的選擇!“系統不死,優化不止”,移動互聯網界都在挖掘金礦的時候,個推會從旁做一個有節操、靠譜的送水工,給用戶帶去源源不斷的舒適體驗!