思華科技曹敬濤:云計算時代下的存儲策略分析
原創【51CTO.com原創稿件】當今,云計算幾乎改變了整個 IT 產業的格局,各種類型的企業紛紛擁抱云計算,迎來了市場收獲期。為了更深入地解讀國內云計算產業政策,展示我國云計算國家標準研制工作的成果,報告云計算標準化工作的重要進展,中國電子技術標準化研究院主辦、51CTO承辦的“第七屆中國云計算標準和應用大會”于1月5日在北京隆重閉幕。會議歷時2天,參會規模達1500人次。
作為國內云計算領域的重要會議之一,本次大會吸引了國內外多家知名企業的共同參與。在4日上午的主論壇、4日下午和5日上午的分論壇中,來自產、學、研、用各領域的高端人士進行了全方位的實踐分析,為與會嘉賓帶來了精彩紛呈的知識共享!
上海思華科技股份有限公司產品總監曹敬濤在會上帶來《軟件定義存儲助力云計算》的主題演講。
近年來,云計算在各個行業中得到飛速發展和廣泛應用,各大互聯網公司走在云計算浪潮的前端,各傳統行業的企業也開始在自己的生產環境和業務系統中嘗試使用云計算、大數據等技術來改善業務形態,為客戶提供更好的服務。
曹敬濤在演講中提到:“支付寶的年度賬單和網易云音樂的年度報告在朋友圈刷屏,這些數據離不開云計算和大數據提供的精準化分析,數據作為云計算和大數據的原材料扮演重要角色,軟件定義存儲可以使這部分數據更好更安全地保存。”
上海思華科技股份有限公司產品總監 曹敬濤
思華科技成立于2000年,專注于大視頻解決方案和云計算產品的研發和服務。思華作為大視頻領域的***,長期以來為聯通、電信、移動及廣電運營商提供互動電視、IPTV和移動視頻的軟件平臺,為數億終端用戶提供穩定可靠的服務。2010年以來思華積極布局云計算領域,在上海、西安、美國硅谷等地設有研發中心,自主研發云存儲、大數據、桌面云及容器云等核心技術產品。思華現已擁有13項發明專利,104項軟件著作權,42項軟件產品登記證書。
目前,思華主要有兩大產品體系,一是視頻云平臺,包含視頻管理類的iCMS系列,視頻分發的CDN產品,視頻大數據類的CloudData系列,以及視頻結構化的IdxTime系列。第二個產品體系是云計算平臺,包括超融合云平臺ExpressVM系列——可以為用戶提供便捷的虛擬化服務,容器云Miaoyun系列,以及云存儲MegaBric系列,還有桌面云xView系列。思華通過這兩大產品體系為用戶提供一站式的大視頻以及云計算解決方案。
曹敬濤在分析云時代對存儲的新要求時提到,“云計算時代對存儲有了更高的要求,那就是在保存數據的同時要保證數據的安全,一是全時段全環境下的數據安全保障,支持用戶計劃內和計劃外的各種突發情況;另一個是云時代的存儲規模呈指數倍增長,對系統的運維造成很大挑戰;***是在保證數據安全及性能的情況下,能夠***限度的降低整體能耗,實現節能環保。”
存儲智能感知:保障數據安全
曹敬濤提出了智能感知的概念,也就是能夠在多個維度鑒定存儲集群的狀態,對于可預測的故障進行提前干預,***限度保證數據安全。智能感知體現在以下四個方面,***是硬件感知,支持不同硬件、不同廠家,感知硬件健康狀態、提前進行集群操作;第二是數據感知,可以知道數據的不同格式,包括資產屬性、脆弱性,安全性等;第三是健康感知,包括系統/服務登陸、訪問、編輯情況,資源使用情況等硬件狀態;第四是壓力感知,包括資源利用率,帶寬利用率,空間利用率等等。
數據根據訪問頻率可以分為冷數據、熱數據和溫數據三大類。冷數據是如歸檔磁帶庫、光盤等介質存放的數據,間隔較長時間才能被讀取,占數據總量的18%到25%。熱數據,如安防監控視頻、影視、圖片、評論、日志等,在需要時能隨時查閱,但不需要較高的性能,這部分占15%到28%;而溫數據占50%至67%,它平時很少被訪問,但是在需要時要能夠在約定的時效內提供服務。
數據的存儲成本分為四類,分別是硬件采購成本、運維成本、電力能耗成本和硬件損耗成本。其中,電力能耗成本占總成本的45%,遠高于硬件采購成本。由此可見,電力成本在存儲整體成本中,占據了相當大的比重,只有降低電力能耗,才能為客戶帶來***的投資回報率。
思華智能集群存儲MegaBric 大幅降低存儲成本
曹敬濤在演講中重點講解了基于軟件定義存儲的MegaBric產品。MegaBric有幾個關鍵的技術點,一是智能回收站,能夠保證數據不被物理刪除;二是WORM技術,能夠保障數據不被非法篡改;三是智能節電技術,對數據占比較大的溫數據進行智能的磁盤斷電,可以做到對每塊磁盤的單獨斷電,此外還有按需加電和智能巡檢,即在需要時對磁盤進行加電,快速為業務系統提供數據,在數據長時間不被訪問時進行定期巡檢,保證磁盤正常運轉,保障數據安全。曹敬濤表示:“思華的智能節電技術能夠為企業節省65%到87%的能耗成本。”
除降低能耗以外,提升單位磁盤容量的存儲性能也是降低存儲成本的重要手段之一。MegaBric能夠基于海量小文件進行存儲性能優化、網絡優化和磁盤讀寫優化。目前本地文件系統、分布式文件系統,主要針對大文件而設計,而元數據管理、數據布局、條帶設計、緩存管理也都側重于大文件。小文件情況下的存儲性能較低。為解決這一問題,MegaBric運用專業的文件系統——MEXT專利技術,在元數據以及數據分布上進行針對性設計,IOPS性能與同類產品相比提升50%以上。網絡優化方面,支持RDMA網卡,吞吐性能提升3倍以上。IO優化方面,采用差異化、精細化的IO調度策略,采用全新的臟數據刷新機制,降低讀寫延遲,做到每次IO的實時計算和實時控制。
曹敬濤:現任上海思華科技股份有限公司產品總監,主要負責云計算及軟件定義存儲產品相關工作,主導定義和研發了公司分布式智能存儲MegaBric和超融合存儲ExpressIO兩大存儲產品線。曹敬濤長期從事CDN和存儲相關工作,對Linux內核以及存儲相關技術擁有豐富經驗。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】