小米劉紹輝:從MySQL遷移到NoSQL的HBase實踐
2013年11月22至23日,大數據領域的盛會,2013年Hadoop中國技術峰會在北京召開,來自國內外的技術專家齊聚一堂,來探討大數據技術。51CTO記者在大會期間采訪了小米資深工程師劉紹輝,他向記者分享了小米從MySQL遷移到NoSQL的HBase實踐。
劉紹輝,小米云存儲團隊工程師。專注于小米hbase 的落地,業務支持和特性開發;關注hbase 社區發展,積極參與社區交流和開發,貢獻自己的力量。原騰訊SOSO基礎架構部工程師,參與typhoon mapreduce和torca系統的開發。
劉紹輝表示,隨著小米業務的逐漸擴展,特別是大數據時代的到來,原有的關系型數據庫MySQL已經逐漸無法滿足需求,因此向NoSQL遷移是很自然的事情。小米使用的NoSQL數據庫是HBase,之所以選擇HBase主要的考慮有兩個方面,***是對運維、容錯、可擴展性的支持,第二是HBase的成本相對較低。目前HBase已經支持了小米的米聊以及PUSH服務,并且更多的服務也都在預計遷移當中。
另外,值得一提的是,小米在HBase遷移過程中做了不少工作,并且將其中的一部分成果開源出來。比如Hadoop的部署監控系統Minos,小米在遷移過程中發現沒有一款好的監控系統能夠滿足他們對自動化和個性化數據的支持,因此自己開發并且免費貢獻出來。
目前云計算和大數據的基礎領域,開源十分盛行,并且一些大公司都樂于將自己的成果分享出來,這在國內以前是很難看到的。之所以會出現這種現象,劉紹輝認為,因為目前這些領域的技術發展十分迅速,如果一個公司創建了一個開源項目分支并且將其閉源的話,很快就會與開源項目脫節,無法應用***特性和技術。因此大公司都在這些項目的開源領域活躍,希望能夠影響開源項目向符合自己要求的方向前進,而影響的***方法就是貢獻自己的成果。
采訪視頻: