盧億雷:大數據分布式系統并行設計與I/O優化
原創2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
在27日Hadoop生態系統及分布式架構設計專場論壇中,Carbonite China CTO&Architech 盧億雷發表了主題為“大數據分布式系統并行設計與I/O優化”的演講。演講中,盧億雷介紹了分布式并行系統定義,分布式并行系統的特點和分布式并行系統的設計,并解析了單臺機器并行設計的方法,分布式并行I/O優化的方法和單臺機器分布式化的設想。
Carbonite China CTO&Architech 盧億雷
他談到,分布式并行系統是多個系統的集合,子系統并行的相互作用,具有很好的依賴性和透明性,它具備高可靠性、高可用性、高擴展性、高性能和高性價比。其中,分布式并行架構須包含WEB集群、計算集群、DFS集群和DB集群。
在分布式并行系統設計模式方面,可用主從結構和全對等結構,其中主從結構更加簡單有效,結構清晰,但有單點失效問題,而全對等結構則無中心節點,不會出現單點失效,但很難保證數據一致性。
之后,盧億雷在現場分析了分布式文件系統、分布式服務架構、LVS的相關案例。
在單臺機器并行設計方面,需要考慮CPU、內存、磁盤、網卡、文件系統等因素。
分布式并行系統I/O優化方面,可以從操作系統優化,網絡I/O策略優化,緩存策略優化,同步鎖機制優化,多路復用I/O優化,TCP選項優化、內存操作優化等方面考慮。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。