為大數據處理加速 ——BoCloud博云與TalkingData聯合打造DataCruiser高彈性大數據云平臺
5月19日,BoCloud博云與TalkingData在北京聯合發布DataCruiser高彈性大數據云平臺,通過BoCloud云架構與TalkingData大數據分析平臺的有機融合,提供完整的應用容器和大數據計算相關的組件倉庫和便捷的操作模式,使客戶在面對“互聯網+”時代爆炸性的數據處理業務時,享受大數據分析帶來的精準信息和云計算技術帶來的IT系統的高效運行,降低企業在部署數據分析平臺的綜合成本,使云化部署金融大數據平臺的時間降低為原來的數十分之一;提高互聯網及移動互聯網環境下高并發應對能力,帶來更好的數據處理體驗,使金融大數據的處理能力通過彈性云至少提升10倍;通過云化架構,提供多租戶的大數據PaaS平臺,幫助客戶避免內部重復建設,享受專業的平臺保障服務。
應用容器技術,為大數據部署加速
大數據時代,人們越來越清楚地意識到數據中蘊藏的價值。海量數據的擁有者——銀行,電力,運營商,物流公司等等行業用戶都在積極地尋求方法利用手中的數據。然而大數據處理平臺配置和部署的繁瑣,以及組件相互依賴關系的復雜讓眾多企業望而卻步。針對這個突出的問題, DataCruiser高彈性大數據云平臺,向用戶提供簡單快捷易部署的大數據加速和分析系統,通過將云計算平臺與大數據處理平臺的整合,實現了大數據計算、存儲、網絡、虛擬化和行業應用融合的緊密集成。
平臺向用戶提供了完整的應用容器和大數據計算相關的組件倉庫和便捷的操作模式。
安裝大數據處理組件界面
基于簡潔的界面交互方式,用戶僅需在主機角色中輸入對應的服務器地址,整合平臺即可根據主機角色解析并生成大數據處理集群和上層應用集群拓撲結構,自動地從組件倉庫中分別拉取各個主機所需的組件并進行對應的安裝和環境的配置,部署完畢后自動運行各個功能組件。并且安裝過程中整合平臺根據安裝進度向用戶呈現可視化的效果。
將大數據計算框架部署的復雜度從O(n)簡化到O(1),極大地提高了大數據集群的部署效率。完全實現了“一鍵式”方式的大數據計算部署和運行。
通過運用***的容器技術,平臺極大的降低了大數據處理框架部署和日常維護的復雜度,大幅降低了部署、運行和維護的成本。與此同時,通過將應用系統的開發、測試、準發布和生成四個部署環境統一化處理,減少了開發到上線的環節,成倍提升了業務應用的上線速度。
云化架構,讓大數據也能“彈”起來
當前,眾多的傳統企業面臨著互聯網對傳統業務模式的沖擊,并且還面臨著業務從互聯網向移動互聯網的快速發展。這不但帶來了企業對數據分析需求的快速增長,同時也帶來了業務高峰時段與低谷時段數據不可預估的脈沖式涌動對傳統IT架構的沖擊問題。
DataCruiser高彈性大數據云平臺通過將TalkingData強大的數據分析平臺與BoCloud博云的云平臺架構進行結合,構建了包括基礎平臺層、資源存儲層、數據處理層和應用容器層在內的整合平臺系統,進行統一資源配置和全生命周期的管理——利用Docker容器化技術,構建服務集群、應用集群和監控集群,對物理資源進行統一規劃,支持開發,測試,集群,發布,部署,運維不同階段的統一管理,為業務系統、運維和應用開發提供有力的底層支持,并使得大數據處理能力通過彈性云成倍的提升,幫助企業提高投入產出比,從而創造更多的商業價值。
多租戶PaaS平臺,將大數據平臺的成本降下來
大數據的軟件專業化程度高,搭建一個可支持生產、可進行性能調優、能保證數據安全的大數據平臺不是一件簡單的事情,需要IT開發人員具有豐富的經驗才有可能做好。這使得大數據分析的門檻居高不下,不但大數據人才非常緊缺,并且各個公司、甚至大型集團中的不同部門為了搭建自己的大數據硬件、軟件平臺,投入了大量的重復勞動,導致對自己的業務邏輯和分析算法的研發資源被擠占。
支撐人類社會高速發展的是人類專業化分工的能力。在有需求的地方,提供專業化的服務,在創造商業價值的同時,將能夠提升整個社會的運行效率。這正是BoCloud博云和TalkingData這樣的技術性公司所不懈追求的。
我們將TalkingData的大數據處理框架集成到BoCloud博云的PaaS平臺上,包含了HDFS文件存儲系統、Yarn資源管理和Zookeeper協作處理、Kafka數據分發、Strom實時處理和MapReduce離線批處理部分,并提供用戶業務定制容器、TalkingData管理容器和第三方開源中間件容器,為客戶打造一個專業化的大數據PaaS平臺,實現平臺與應用的分離,從而使得大數據開發人員能夠將有限的資源投入到核心算法和應用的開發中去。
BoCloud博云和TalkingData希望能夠切實幫助各類需要大數據分析的企業,例如銀行、保險、證券等金融行業企業,通過使用DataCruiser高彈性大數據云平臺降低成本、提高效率,能夠更加專注于自身專業領域的能力開發和提升。