當前在Hadoop技術的發展中，如何把Docker技術應用于Hadoop平臺的建立，尤其是對于Hadoop on Docker規模部署問題的解決，一直是一個備受關注的技術難點。因此，本次的中國Hadoop技術峰會中，***實現一鍵規模部署的Hadoop on Docker及其DEMO演示，也成為了大會中的一大熱點話題。

　　下午兩點，星環***工程師呂侶在Hadoop系統架構分論壇發表了題為《Hadoop on Docker-from development to production》的演講，展示了星環科技自主研發的產品Transwarp operating system(TOS)在Hadoop on Docker領域做出的優化與突破。

　　在過去，Hadoop on Docker大數據平臺的部署，只在單機情況下實現過，而且過程繁瑣，耗時很長。雖然類似Pivotal方案也實現過一鍵部署，但是單機的小規模部署對于Hadoop這樣的大數據平臺并不具有實際意義。(如下圖所示)此前，具有真正應用意義的多機部署也從未真正實現過。那么，如何借助Docker作為優化手段，在大規模多機器的情況下進行一鍵部署，是目前Hadoop系統架構方面最受關注的技術熱點之一。

 

 

　　過去，幾百臺規模集群的Hadoop on Docker的部署，從未有人實現過，這也是Hadoop on Docker難以落地應用的主要原因之一。而一鍵規模化部署則更是繞過了Hadoop on Docker在市場的適應期，降低了安裝和使用的成本，使企業用戶可以更早更快地使用該技術，是在Hadoop技術發展和推廣中舉足輕重的一個技術突破。

　　在實現規模化部署的前提之下，呂侶首先將Hadoop on Docker的研發目標定位于簡化部署、支持大數據應用與普通應用以及減少性能損耗等幾方面，在明確了研發方向以后指出了過去一些方案的弱點在于單機化。隨即他展示了星環科技產品TOS的***演示，可以看到TOS在支持大規模部署的前提下實現了“一鍵部署”流程，平均部署時間只要七分半。同時，呂侶也提出了TOS替代YARN的必要性在于裸機部署和資源隔離問題兩方面。(下圖為TDH一鍵部署界面)

 

 

 

　　Hadoop on Docker一鍵部署DEMO詳見(http://v.qq.com/page/v/x/p/v0160jnmnxp.html)

　　這是國內***完成基于Docker實現的Hadoop平臺大規模一鍵部署，也是***次完成能夠應用于落地方案的、具有實際意義的部署簡化。在此之上，大規模部署的時間也在TOS的支持下達到了八分鐘以內，可以說是簡潔與高效并存的優化與技術突破。Transwarp Operation System (TOS)統一調度系統容器和用戶容器，分配所有節點包括CPU/內存/磁盤在內的各種資源。應用可以通過指定TOS調度策略來影響最終的調度結果。

　　所有TDH組件都單獨通過自動化CI生成，內部的二進制代碼和環境變量在運行時不可改。鏡像附帶默認配置，也可以通過環境變量或者掛載配置卷定制。

　　鏡像數據分離。將數據保持在數據卷中，當需要更新鏡像時，可以直接殺掉老容器，將數據卷掛載在新容器中恢復服務。

　　統一提供集群級別的DNS、日志收集和監控模塊，并保障這些模塊的HA。

　　調度計算節點時獲取相關數據的位置，盡量利用本地資源。容器和容器知曉相對的位置關系(如在同一主機上)，以便利用本地讀寫特性。

　　和之前的兩種部署方式相比，星環的部署通過引入TOS，將資源虛擬化、平臺化，不但解決了Hadoop本身的部署，并且還可以在同一個集群中，同時部署其他非Hadoop的應用，比如MySQL和Redis。并且在維護和升級過程中，可以通過簡單替換鏡像來完成，并且通過引入灰度升級，可以將線上系統的更換風險降到***。

　　可以看到，TOS支持私有集群與公有云，實現一鍵部署統***程，在對Docker的支持上進一步完善，減小性能損耗。是筆者在現有IT市場所看到的最完善的Hadoop on Docker解決方案。