分布式集群存儲系統在電子檔案場景下的應用
數字化檔案管理系統的建設突破了傳統的、封閉的檔案管理模式,實現了檔案工作以手工管理為主向以計算機管理為主、以管理檔案實體為主向以管理檔案信息為主、以檔案存儲保管為主向利用服務為主的轉變。
1、背景介紹
數字化檔案管理系統的建設突破了傳統的、封閉的檔案管理模式,實現了檔案工作以手工管理為主向以計算機管理為主、以管理檔案實體為主向以管理檔案信息為主、以檔案存儲保管為主向利用服務為主的轉變。數字化檔案管理系統的開放系統包容了紙質檔案、實物檔案、圖片檔案、影視檔案的各方面及檔案信息的產生、收集、整理、保管、利用的全過程,將不同介質、不同類別相互獨立的檔案信息整合成統一的資源庫,并確定其相互關聯關系,增加了檔案管理工作的科技含量,為各企事業單位生產、經營提供了安全、優質、高效的信息服務手段,充分發揮檔案信息的經濟價值和社會價值。
2、電子檔案系統數據存儲需求分析
(1)需要存儲能夠支持文件全局共享:讓檔案的收集、整理、管理、利用等過程都能夠無縫銜接,所有業務服務器能夠直接按需共享訪問對應的檔案文件,確保管理流程中相關檔案文件不需要拷貝或者傳輸就能夠進行無縫的訪問管理。整個工作流程中的各階段流程能夠順暢的進行,從而提高整體業務的運轉效率;
(2)需要存儲提供較高的性能:從檔案管理的業務發展方向來看,檔案管理向著內容服務轉變,檔案文件的存儲平臺將會面臨越來越多的訪問和調用。為了能夠更好的快速對海量的檔案文件內容進行相關的編輯、管理和檢索,充分利用檔案的深入價值,就必須能夠在海量的內容中快速的檢索到需要的數據,這就要求存儲系統必須具備較高的性能。如果存儲系統的數據讀寫速度達不到需要的性能,那么檔案信息平臺將很難作為一個服務性的平臺為更多的人和機構提供服務;
(3)按需建設,在線擴展的大容量存儲系統:由于檔案內容的清晰度越來越高,文件越來越多,以及需要保存的檔案項目也不斷增多,檔案系統的數據量每年都在逐步增加,尤其是大型檔案系統。如果不能將海量的檔案數據進行較好的統一存儲和管理,并且不能按需在線擴展實施,數據就會被分散的存儲到多個獨立的系統內,不能集中統一管理,導致后期信息平臺管理過程浪費大量人力物力并且影響檔案系統的正常業務;
(4)需要高效支持海量小文件:在檔案的信息化流程中,海量的檔案圖片文件將會給存儲系統帶來巨大的壓力。存儲系統在這種大小文件混雜的情況下,訪問性能會急劇降低,導致整個檔案信息化平臺運轉效率低下,難以提供快速的檢索訪問服務;
(5)需要更高的數據安全性:硬盤級的數據安全保護已經不能滿足檔案系統的需要,像RAID5同一時間最多只能允許一塊硬盤出現損壞,RAID6同一時間只允許損壞兩塊硬盤,但是當總數據量達到數十、上百TB,會導致RAID數據重建的時間比較慢,而且硬盤連續出現故障的概率會提高,另外也有可能會出現整個存儲設備損壞從而導致數據不可用的情況發生;
(6)需要遵從法律法規:電子檔案的存儲和管理,需要符合相關法律法規要求,實現長期安全的保存,并且需要能夠防止各種可能導致檔案文件被破壞的事故,那么就要求存儲系統自身具備良好的檔案文件長期保存和管理能力。
3、分布式集群存儲在電子檔案場景下的應用特點
(1)系統提供單一文件系統共享存儲池,采用文件切片式存儲,并行處理,無性能瓶頸,高并發聚合帶寬,性能隨系統擴容線性增長;
(2)高效的元數據管理和集群技術,對海量小文件提供了很好的支持和優化,對檔案圖片等小文件的檢索毫無壓力;
(3)按照用戶實際需要,在線不停機橫向擴展,無需數據遷移,所有的維護操作可以不停機,不影響業務正常運行;
(4)系統內無任何單點故障,可做到設備級的冗余,允許損壞的設備數量可根據方案需要靈活調整,這樣就確保了檔案業務連續性,并且丟失或損壞的數據可快速恢復重建,速度是傳統硬盤級RAID 的5-10倍;
(5)多臺物理存儲節點通過一個界面統一管理,統一調配存儲資源,直觀的管理界面,操作方便;
(6)系統自帶WORM功能,預防數據被刪除和篡改,另外由于文件采用分片式存儲,即使存儲設備丟失也能保證數據不泄露。