大數據的虛擬化：企業IT發展潮流

大數據的虛擬化是當前大數據以及Hadoop社區的一個發展趨勢。Gartner在2013年6月舉行的Hadoop Summit大會上提到，為了讓Hadoop等大數據技術真正落地企業，我們要從具體業務需求出發，驅動大數據相關技術和產品的進一步發展，逐漸告別之前技術驅動的創新。Gartner同時指出，虛擬化是這個新階段的重要趨勢。隨著全球企業IT虛擬化的比例突破三分之二，以虛擬化為基礎的軟件定義的數據中心對企業來講變得越來越普及和重要，大數據在這樣的浪潮下如何影響和融入現有企業數據中心的基礎架構變成了現實的挑戰。本博客將圍繞這個話題，從運維、技術、和解決方案的角度給出具體內容。

到底什么是大數據的虛擬化?

解答這個問題首先要回顧企業IT為什么要做虛擬化?我認為原因有以下幾點：

1. 虛擬化能夠顯著提升服務器的利用率，通過整合服務器資源達到更佳的利用率。

2. 以x86服務器為代表的虛擬化本身的擁有成本相對小型機和軟硬件一體設備來講，更經濟;而且性能表現一點也不遜色，橫向擴展更是巨大優勢。

3. 虛擬化在云計算(無論是公有云還是私有云)中承擔著很重要的基礎工作。沒有虛擬化技術，云計算的彈性和多租戶往往難以得到真正落實。

4. 虛擬化已經可以支撐企業關鍵應用(如ERP、郵件服務器、業務生產數據庫等)，這證明在虛擬化和性能穩定性之間已經不再需要二選一。此外，眾多成功案例和技術白皮書也可以幫助更多客戶加強信心。虛擬化邁向全面成熟的標志已經樹立。

顯然企業虛擬化的進程不會停止，目前包括VMware在內的領導廠商都在拓展虛擬化2.0。不僅是服務器(計算資源)虛擬化，包括存儲和網絡等過去相對難以直接被虛擬化所用的孤島都出現了最前沿的創新推動，例如“軟件定義數據中心”、“存儲虛擬化”、“網絡虛擬化”等熱點，都已經出現了具體的產品和解決方案。

大數據的虛擬化，是將大數據的工作負載運行或遷移到虛擬化的基礎環境中。除了自然地繼承以上所談到的虛擬化的普遍優點，值得一提的還有幾個特殊的好處：

1. 由于大數據基礎架構在起步時往往難以確定需要多少計算和數據節點，這些節點用物理服務器需要一一去堆。如果沒有專家團隊支持，將會非常耗時費力，而且將來擴展非常不方便，利用率極低，管理效率問題相當突出。虛擬化不僅可以快速部署集群，更可以靈活管理它們，同時顯著提高利用率。

2. 大數據混合使用共享存儲和本地存儲，用來提高性能。虛擬化可以完全滿足這些需求，并且讓我們靈活的擴展和設計策略。

3. 虛擬化可以將大數據從底層向上對外形成多租戶和數據分析服務，很好的隔離計算環境，為推動大數據即服務奠定基礎。

4. 虛擬化還有利于整合和集成其它的數據應用在統一的虛擬化平臺上，大大降低IT基礎架構的復雜度和運維成本。

我想以上不僅解釋了什么是大數據的虛擬化，也說明了這個市場的存在價值。那么我們還需要什么?知識和技能。企業面臨的最大問題不是實在的需求，而是沒有專業的人才去發現和處理它;57%的企業認為他們急需掌握具體技術和知識的人才;同時，管理和安全也是一大挑戰，占37%。這些數字都印證了虛擬化存在的必要性和價值。(數據來自微軟公司在Hadoop Summit 2013上的報告)

關于大數據的虛擬化這個嶄新的話題，我想市場上可能還沒有多少人可以了解具體如何實現它，需要使用什么樣的技術和產品。因為不了解，便容易造成主觀臆斷，覺得大數據和虛擬化是矛盾的，甚至覺得將兩者結合在一起是“不靠譜”的。我將通過即將發布的一系列博文具體闡述如何實現虛擬化上的大數據，讓讀者知道這兩者的關系，幫助他們解開疑慮。所以，接下來的一系列博客文章都屬于技術“干貨”，將指導有興趣進一步了解和嘗試這個領域的讀者或企業進一步探索并動手親自嘗試使用。