多管齊下 潮數科技提供高速、重刪、壓縮數據安全解決方案
數據越來越大、數據越來越多,這給數據的管理帶來了極大的難度,僅通過“堆硬件”的方式,無法徹底解決爆發式數據增長的問題。深圳潮數軟件科技有限公司(以下簡稱“潮數科技”)推出的“數據安全一體化”系列產品從軟硬入手,提供了高速硬件、KFS文件系統、PB級分布式存儲、小文件優化、重刪、壓縮數據處理等解決方案,能夠保證用戶利用最少的資源和花費實現數據安全。
數據越來越多 越來越大 僅靠“堆硬件”難解決問題
從2015年到2025年,中國數據以14倍的速度擴張。2017年全年數據總量超過15.2ZB,同比增長35.7%。2018年全球數量總量達19.4ZB,未來幾年全球數據的增長速度在每年25%以上。2018年至2025年中國數據以30%的年平均增長速度領先全球,比全球高5%,2025年將增至48.6ZB,占全球27.8%。
正是因為數據越來越多、越來越大、越來越快,因此很多組織采用了增加存儲空間和升級硬件來解決這一問題。但是這只能解決一時的問題,并不能徹底地解決問題。
IT界擁有三大鼎鼎大名的定律,其中之一就是“安迪-比爾定律”。 IT界總結出了安迪-比爾定律,即比爾要拿走安迪所給的(What Andy gives,Bill takes away.)。安迪指的是英特爾公司前CEO安迪·格羅夫(Andy Grove);比爾指的是微軟公司創始人比爾·蓋茨。所以其內涵是:軟件方面做出更新迭代帶來利潤,硬件也同樣得到刺激進行更新迭代。
即計算機工業是由軟件更新帶動硬件更新的。軟件的開發和發展,令使用軟件的設備需要更高的性能和速度,從而推動了硬件技術的不斷更新和升級。就是說,軟件系統的更新迭代從很大程度上影響著硬件的更新迭代。
正是數據推動了硬件的發展,比如更大的存儲空間、更快的存儲速度、不同的存儲架構、更快的傳輸速度等。
但是僅靠“堆硬件”的方式,難以應對數據越來越多、越來越大的問題,應該從多個方面入手,才能徹底地解決這一行業難題。
數據安全一體 軟硬結合解決大數據難題
潮數的“數據安全一體化”產品,軟硬結合,針對數據越來越大、越來越多、越來越快的問題,提供了全新、全面的解決方案。
1.提供了萬兆網卡
萬兆網卡,即支持10Gbps的網卡,在一般家庭里可能不一定用得上,現在很多家庭的以太網卡用的還是100Mbps,最多只是1000Mbps,即1Gbps的,但并沒有用上萬兆網卡。因為很多主板并沒有默認提供,往往要通過PCI-E插槽來實現轉接,同時價格也較貴。
但是對于企業或組織來說,萬兆網卡是必須的,潮數科技產品提供了萬兆網卡的支持。有了萬兆網卡,可以使得數據在內部網的傳輸速度達到1250MB/s,即1.25GB/s,能夠大大地解決數據交換、備份、管理等問題。
2.采用固態硬盤做引導或緩存
潮數科技的產品支持采用固態硬盤來做引導盤,并且支持更多的操盤系統。由于固態硬盤(Solid State Drives),由控制單元和存儲單元(FLASH芯片、DRAM芯片)組成,不僅低功耗高性能,而且它的讀取及寫入速度非常快。
固態硬盤由于沒有機械硬盤的磁頭,數據讀取延遲非常小,把操作系統安裝到固態硬盤上,不僅能夠提升開機的速度,也使得整體系統變得很快,包括在其上的所有應用操作也變得很快(數據的備份等)。
同時,潮數科技的產品還支持用固態硬盤來做緩存,這也將大大加快系統的速度。而且,固態硬盤的價格相較于內存要便宜了很多,這也能夠節省很多的系統預算。
3.KFS文件系統+PB級分布式存儲
潮數云存儲管理系統支持KFS文件系統,并支持PB級分布式存儲。KFS,全稱Kosmos distributed file system,是一個分布式文件系統,被設計用于分布式的結構化存儲。同時,也是一個專門為數據密集型應用(搜索引擎、數據挖掘等)而設計的存儲系統,類似于Google的GFS(Google File System)和Hadoop的HDFS(Hadoop File System)分布式文件系統。
KFS文件系統由三部分組成,分別是metaserver(相當于GFS master)、chunkserver(相當于GFS chunkserver)和client library(相當于GFS client)。
其中metaserver,即元數據服務器,主要用于B+樹存儲分布式文件系統的全局文件系統命名空間,一個KFS中僅有一個metaserver;其中chunkserver,是一個大文件被切分成許多固定大小的文件塊block,文件塊block被以chunk的方式存儲在獨立的chunkserver上,每個 chunkserver上可能存不同文件的block,一個block會被存在不同的chunkserver上(默認為3份);在一個KFS中,有一系列 的chunkserver,chunkserver將chunk存儲在底層的文件系統(如Linux的XFS、EXT2);而client library,用于提供文件系統訪問的API,使應用可以通過接口操縱KFS;在將實際的應用和KFS集成起來時,需要在應用中包含KFS的客戶端庫文件。
KFS文件系統初期是用于大型的互聯網公司的搜索引擎、數據挖掘,而被應用于潮數云文檔管理系統用于文檔的管理,可見其功能之強硬。
同時,潮數云存儲管理系統支持PB級的分布式存儲,1PB=1024TB=1048576GB,支持海量存儲,支持局域網及廣域網的分布式存儲與訪問,不依賴高昂的硬件設施,具有文件容災備份和CDN加速技術,支持高并發、高IO吞吐量等多種高級功能,擴展屬性優秀,適用于大中型企業海量文件服務。
小知識 數據的量
數據越來越大,但是要清晰地認識數據的“大”與“小”、“多”與“少”,必須依賴于數據的量。數據的計量單位如下:1B (Byte 字節)=8b (bit 位);1KB (Kilobyte 千字節)=1024B;1MB (Megabyte 兆字節 簡稱“兆”)=1024KB;1GB (Gigabyte 吉字節 又稱“千兆”)=1024MB;1TB (Trillionbyte 萬億字節 太字節)=1024GB;1PB(Petabyte 千萬億字節 拍字節)=1024TB;1EB(Exabyte 百億億字節 艾字節)=1024PB;1ZB (Zettabyte 十萬億億字節 澤字節)= 1024 EB;1YB (Yottabyte 一億億億字節 堯字節)= 1024 ZB。
4.小文件優化
針對海量文件備份的難點在于海量小文件備份重復數據塊檢索,導致磁盤iO資源被大量占用,且數據傳輸無法達到帶寬極限的問題,潮數的云文檔管理系統可以避免重復檢索數據塊,能在不做磁盤檢索的情況下把該卷要備份的數據通通備份出來,大大加快了海量小文件的備份速度。
5.數據重刪
現如今,存儲空間變得越來越大,數據和文件也越來越多。但很多時候,存儲空間里往往充滿了重復文件,手工刪除十分費勁。當我們在企業或組織里對這些數據進行備份時,會占用很多存儲空間,也會消耗很大的帶寬和更多的硬件資源。重復數據的刪除將是企業的信息主管們的必修課,可以真正減輕自己的工作量,提升工作效率,也能夠減少企業的開銷。
潮數的備份系統在備份數據的同時,能夠做到自動刪除重復的數據,并支持重刪類型,大大節省存儲空間,在傳輸的時候也能夠節省帶寬。
6.數據壓縮
數據如果沒有做過任何的壓縮處理,也不支持多種壓縮算法,在數據存儲或備份時則會需要更多的存儲設備和存儲空間,需要更多花費,同時數據大、數據多,使得數據傳輸,尤其是遠程傳輸需要更大的帶寬和更多的時間。
潮數的備份系統在備份數據的同時,能夠做到自動壓縮數據,并且支持不同的壓縮級別,能很好地節省存儲空間和傳輸消耗。