超大量數據如何處理? 京東技術開放日第二期實戰解析大規模分布式存儲
對于一家大型互聯網企業,穩定承受海量的用戶請求和爆發式增長的數據是必須面對的技術問題。特別在電子商務領域,每逢大型促銷,數據的增長都是成倍的,作為國內***的自營式電商,京東在今年的618店慶活動中成功支持了同比去年增長超過100%的下單量,這與其堅實的核心基礎系統和過硬的技術力量密不可分。近日,在京東技術開放日第二期活動中,來自京東技術研發部的***技術人員與業內眾多同行分享了諸多經驗。
此次活動的分享主題是“大規模分布式存儲實戰解析”。曾帶領團隊自主研發了京東文件系統、分布式緩存與高速KV服務、新消息隊列、新服務框架、新圖片系統的京東架構委員會主任、云平臺***架構師、系統技術部負責人劉海鋒以“大規模分布式存儲的持續研發”為議題進行了講解。如今大型互聯網公司中海量請求和爆發式增長的數據和用戶,令NoSQL數據庫越來越受到開發者的關注。劉海鋒以京東自主研發的高速KV(key-value)存儲服務和分布式文件系統作為落地實踐,分享了高性能海量存儲的架構改進與性能優化、熱點數據常駐內存、彈性容量擴展、高可用自動故障切換、細粒度監控、建立PB級別高可靠強一致存儲平臺等經驗。
對企業而言,PB級的數據管理是衡量其數據規模和管理能力的一個重要標尺,劉海鋒重點介紹了京東自主研發的文件系統JFS(Jingdong Filesystem),它不僅實現了海量小文件、對象存儲、塊存儲、新圖片系統、元數據表結構存儲、Hadoop集成等功能,同時還在分布式存儲方面滿足了精確故障檢測、自動故障切換、兩級存儲層次、在線縱向擴展以及在線橫向擴容等需求,具有很強的指導性。
本次活動的第二個議題是分布式MySQL集群技術開發與實踐,由京東資深技術講師秦波帶來,他針對當前熱門的分布式MySql系統的設計和實現、應用以及未來的發展方向,深度總結了京東自身在分布式MySQL集群設計和實現階段,解決整體架構及部署TOPO、分庫分表,自動擴展等實戰項目積累的經驗。
作為技術圈內的一項交流會議,京東技術開放日由京東技術研發部發起,口號是“交流、分享、融合、創新”,旨在通過眾多業內技術人士的現場交流,將有價值的技術資源整合推出,讓更多的技術人開始分享技術,獲得價值,讓技術的匯聚成為創新的源泉。截至目前,京東技術開放日活動已成功進行了兩期,未來仍將挑選技術領域的熱門主題進行分享,與業內同行共同成長,以不斷提升眾多用戶的使用體驗。