騰訊云存儲論文入選行業頂會NAS2024,面向AIGC等場景加速數據訪問
12月3日消息,NAS2024大會公布了今年會議論文的收錄情況。騰訊云存儲就加速對象存儲訪問提出技術方案的論文《GooseFS:分布式緩存服務以提高云對象存儲性能》入選。
NAS(網絡、架構和存儲)大會 由 IEEE TCDP 和 IEEE 計算機學會共同贊助,是基礎技術領域最頂級的行業大會之一。會議為網絡、架構、存儲等基礎技術領域提供大量高質量的研究論文和研究成果,具有重要的學術價值和行業引導意義。今年的NAS大會(NAS2024)于11 月 29 日至 12 月 1 日在廣州舉行。
對象存儲由于具備高水平擴展性和低成本等特征,目前已經成了用戶首選的海量數據存儲解決方案。但隨著大數據分析、AIGC等涉及海量數據計算的場景快速發展,對象存儲由于其數據組織和實現方式限制,以及其存儲介質時延和吞吐性能的制約,在應對這類工作負載時,面臨著嚴重的性能挑戰。
在論文中,騰訊云提出基于對象存儲搭建分布式高性能文件系統GooseFS,引入三個關鍵設計,來實現在存算分離架構下對對象存儲的加速訪問,從而解決上述問題。
具體而言,在計算端,GooseFS將離計算資源更近的本地盤作為緩存介質存放部分對象存儲數據,實現計算對數據的就近訪問,降低延遲,同時通過多級粒度緩存管理和短路讀機制降低了隨機小IO下的數據訪問時延。
在存儲端,GooseFS構建了高性能SSD緩存池,為計算節點提供存儲端的緩存支持,以提高面對順序IO時的吞吐率,解決了對象存儲介質性能不足的問題。
同時,GooseFS自研了一套高性能元數據引擎,通過元數據分級管理、強一致性緩存和平行擴展等技術手段來提升元數據讀寫性能,并將元數據持久化到底層的企業級數據庫中,以此大幅提升了元數據處理的效率。
實驗結果表明,相比原生對象存儲,GooseFS的吞吐量提升了8~10倍,同時降低了90%的存儲帶寬消耗,滿足了多種工作負載對高性能要求。
目前,GooseFS 已經服務了蔚來、博世、百川、高途、燃數、酷狗等一大批客戶。