天璣科技“上海技術進步獎”獲獎項目重點解讀
人工智能、物聯網、區塊鏈技術的發展,讓數據規模量級持續提升。隨著海量數據的加速度增長,對可擴展的超大規模分布式存儲已有迫切需求。傳統SAN和NAS由于可擴展性的限制,無法達到如此大規模的存儲能力。
當數據規模數以億計時,如何安全、高效地對其進行存儲、收納、歸類、修改?
天璣科技聯合上海高校歷時兩年開發成功的“高可靠高效能的超大規模分布式存儲系統技術與應用”項目,以領先的技術方法在數據傳輸、存儲等方面對分布式存儲系統進行了優化,為企業提供了構建高效數據存儲系統的技術方案,幫助其處理源源不斷的海量數據。
項目簡述
項目名稱:高可靠高效能的超大規模分布式存儲系統技術與應用
總體目標:本項目基于開放標準架構的存儲服務器和先進網絡技術,通過高可靠軟硬件一體化創新體系研究,形成較大規模、可擴展的高穩定、高性能分布式存儲系統。
研究成果:
- 申請第一個IP層網絡編碼的專利
- 發表第一篇IP層網絡編碼的論文
- 在網絡編碼方向完成5個原型系統
- 共申請國內發明專利7項
- 計算機軟件著作權9項
- 共獲得軟件產品6項
- 共發表論文8篇。
測試驗證
測試背景:超大規模分布式存儲系統是基于X86服務器的分布式塊存儲技術,作為軟件定義存儲(SDS)領域的一種全新技術,可以有效地實現存儲軟件與硬件的解耦,存儲空間的橫向擴展以及存儲空間的靈活配置,但業界不同廠家實現的機制不同,對底層X86服務器的要求、支持的部署方式上也有所差異,其功能、擴展性、可靠性、可管理性以及性能的情況需要進行驗證。
測試性能:在整個研發測試過程中我們采用了高壓測極的方式去驗證系統的穩定性,災備能力,分別針對基本管理功能、基本業務功能、系統可靠性、擴展性等進行測試。
最終所有數據均完整拷貝,文件校驗正確,并通過管理系統看到完整的告警和恢復過程。
測試結論:
- 提供完善的管理系統功能及硬盤故障點燈的功能,方便故障磁盤定位
- 部署簡單、兼容多種客戶端系統
- 保證數據可靠性,在各種異常情況下,都能保證業務正常運行,且能明確的告警和定位具體硬件
- 混合模式下能提供高性能
- 節點線性增加后,IOPS性能線性增長明顯,帶寬性能在后期增長較慢
項目應用
在為某保險機構建設數據中心時,我們采用萬兆以太網絡對儲存節點方式構建,最終的全系統性能幫助其解決以下存儲需求:
- 突破傳統存儲基礎架構的性能瓶頸
- 解決極速增長的數據量帶來的擴容難題
- 降低存儲性能高性能帶來的高成本
- 減小存儲設備故障導致的業務中斷風險
- 降低缺乏高效的數據保護存在的數據丟失風險
數據已成為現代信息社會最重要的財富。具有自主知識產權的超大規模分布式存儲,對于保障信息安全具有重要意義,天璣將為政企用戶提升信息技術關鍵領域的競爭力繼續努力。