UMStor數據存儲系統 為企業數據價值賦能
原創【51CTO.com原創稿件】
萬物數字化開啟數據化運維時代
在企業數字化轉型的過程中,隨著云計算、大數據、人工智能、物聯網等一系列新技術的逐步落地,傳統的系統運維將逐漸被人工智能的自動化運維方式所取代,大大提升了企業的管理效率。
與此同時,在數據為王的時代,云計算、大數據或人工智能等新技術,其核心要素都是圍繞數據展開,企業所擁有的數據其質和量都發生了很大變化,如銀行客戶的數據體量從幾百TB升級到PB級,此時系統運維人員的主要職責也從系統運維向數據運維和數據運營的方向過渡。誰能把數據運維好、運營好,才能夠在市場上擁有核心競爭力。
由國內領先云計算服務商UCloud主辦的TIC 2018大會于5月15日在京隆重舉行,大會聚焦技術創新的深度挖掘,搭建了云計算、區塊鏈等行業技術的交流平臺,與行業大咖共同探討新技術的落地與時代價值的賦能。會議期間,51CTO記者采訪了UMCloud解決方案高級總監方勇,本文將對其核心存儲產品UMStor進行深入解讀。
UMCloud解決方案高級總監方勇
數據價值重塑的三個階段
方勇表示,在大數據時代,數據源復雜多樣,非結構化或半結構化的海量數據,給數據存儲技術帶來極大挑戰。為滿足新時代數據存儲的發展需求,UCloud潛心研發了UMStor數據存儲系統,幫助客戶應對企業數字化后,“數據來源雜”、“數據體量大”、“使用復雜”、“管理難”等一系列場景下的復雜挑戰。
UMStor系統在設計上除了包括分布式存儲的一些通用特性外,還采用了一些新的理念,例如:“計算下沉”和“云集成”。計算下沉:即將數據搜索或是查詢類的分析功能嵌入存儲系統中,讓客戶可以更加高效的使用該功能;云集成:即把存儲系統和云端進行打通,為加速底層數據流動賦能。
UMStor賦能企業數字化轉型
UMStor將在企業數據化的過程中起到三個維度的推動作用:
- 有效實現數據流動;
- 充分實現數據融合;
- 積極進行數據再造。
數據流動
當前眾多企業紛紛采用云計算技術,“雙模IT”的概念屢被提及,混合云的方式倍受關注,在這樣的背景之下,企業在做云規劃時往往喜歡將互聯網業務放在公有云上,將核心或次核心的業務放在企業數據中心。方勇認為,這樣的部署只完成了業務彈性的目標,公有云強大的計算能力只有在大量數據驅動的情況下,才能幫助企業實現業務增長的目標。
例如在人工智能領域,數據存儲跟計算平臺密不可分,不同的系統要跟存儲層的數據進行多維度交換,包括數據寫入、數據輸出、計算處理等等,人工智能平臺跟大數據平臺一樣,整個環節不單是AI與存儲平臺的處理過程,相關的系統都要跟存儲進行交互,因此數據流動顯得至關重要。方勇透露,UMStor實現了云集成的能力,可以通過Cloudsync、CloudArchive等功能實現數據在底層的流動,即在安全可控的情況下,將企業的數據傳輸到云端,從而運用云端強大的計算能力為人工智能及大數據分析等賦能。
數據融合
隨著各大企業紛紛采用Hadoop、Spark等技術搭建大數據分析平臺,各部門對大數據技術的使用越來越頻繁,大數據系統越建越多,各自為政的現象普遍存在。在這個過程中,冗余的數據副本越來越多,數據復制時間成本越來越大,管理的成本越來越高,這些問題如何解決呢?方勇表示,基于數據湖的數據處理模型,UMStor按照數據生產、數據處理只在“一片數據湖泊”的建設方式,提高了數據的使用效率,同時也降低了系統的建設成本,這是UMStor在數據融合層面帶來的變化。
UMStor數據存儲平臺
UMStor的產品設計靈感來源于同某運營商的合作,那是一個擁有數十PB體量的存儲使用環境,牽涉了私有云和數據湖兩種方式。數據湖是面向多種數據源的存儲,通過UMStor多協議的功能實現,將大數據處理的流程上從9個步驟縮短為5個,在節省成本的同時,大大提升了使用效率。“我接觸過的不少企業都很頭痛大數據環境資源部署的‘放’和‘收’的問題,通過數據湖架構,我們可以很容易做到,這個案例里面使用了物理機和虛擬機兩種資源,驗證表明,通過數據湖存儲模型支撐的大數據環境和在物理機上部署的大數據環境表現的性能相差無幾。這是我們在數據湖這個領域所做的探索實踐。”方勇介紹到。
數據再造
近兩年人工智能大行其道,AI逐步改變企業的業務運行模式。方勇提到,一個成功的AI平臺離不開數據和計算,尤其是數據,今天我們使用的AI距離Alpha Go 2.0還有一些差距,事實上我們現在需要依賴大量數據來進行AI模型的訓練,這意味我們在存儲上需要做很多工作。UCloud的計算平臺能無縫地與存儲系統進行快速的數據交換,甚至有些計算工作可以offload 到存儲層去處理,這些挑戰UMStor都可以很好地解決。
持久性與安全性
在物理層面,UMStor具備一些分布式存儲的共性,因為數據對用戶至關重要,所以軟件體系必須要足夠強大。方勇表示,“UMStor通過多副本、數據冗余等手段,來確保數據的安全性。我們已經交付的幾個PB的現場實踐證明,我們底層的數據冗余機制是能夠經受住考驗的。”
在業務邏輯層,UMStor采用數據湖的架構進行存儲,必然要海納百川,來源于不同系統的各類數據,必須要做一些功能上的數據隔離。如強租戶功能,一個租戶服務的那幾個系統,有其特定的訪問空間,其他業務想要訪問這個空間必須經過授權才能獲取相關信息。通過物理層與業務邏輯層相結合的方式,保證數據存在一片數據湖泊里,在保證安全的同時,還可以最大效能地被不同的系統使用。UMStor做到了既與數據安全隔離,又具備了數據交叉時的靈活性。
總結
據了解,UMStor提供多種數據接口,包括塊存儲、對象存儲、文件存儲、大數據、流媒體等,適用于虛擬化、容器、云計算、大數據、物聯網、混合云、AI人工智能、備份歸檔等各類場景。具備數據湖存儲架構的UMStor,將為企業實現數據價值賦能,進一步助推企業數字化轉型。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】