愛奇藝許立劍:分布式計算Mesos框架和應用
視頻網站已經深深地走入了每個人的生活,并成為一種重要的內容傳播平臺,但是從事互聯網行業的人會更清楚這一點,如果沒有相應的技術支撐,即使有再好的想法和再好的內容,也很難變現為可行的平臺和商業模式,對于中國互聯網視頻行業而言,無論是三網融合的契機,還是移動互聯網的未來,對相關技術的重視都是發展的基礎。
愛奇藝高級工程師許立劍在活動中對Mesos進行了介紹,Mesos2009年誕生于伯克利AMPlab,用于構建和運行其他分布式系統的分布式系統,可以毫不費力得支撐3萬臺服務器。Mesos廣泛應用于Twitter、eBay、Vimeo等公司,支持Hadoop、Spark、Storm、Jenkins、Marathon、Chronos等多種框架,同時支持自行構建架構,例如視頻轉碼。
Mesos在愛奇藝中的使用是從2013年7月開始初步調研,至今已經上線Hadoop、Spark等框架,并自行開發上線了分布式視頻轉碼框架。在上海,北京,重慶三地近200臺服務器,讓很多地方看到了Mesos的可利用性,完成視頻轉碼任務達到1000萬以上,Storm、Marathon、Chronos、分布式爬蟲等框架測試并陸續上線中。
在本次講解中,許立劍拿OpenStack與Mesos進行了對比,突出了Mesos的優點。
從圖中可以很清楚的看到Mesos的優勢很明顯,用更少的物理機,無需管理虛擬機,就可以很輕松的完成視頻轉碼和計算任務。
同時在活動上許立劍還闡述了靜態資源規劃的弊端,難以共享數據,難以彈性地分配資源,難以充分利用資源,難以處理服務器失敗。從他的角度為大家很好的概述了以上的情況。