華為云存儲私享會 揭開華為云數據底座的神秘面紗
2017年12月2日,華為云技術私享會第四期 – 云存儲專場在北京3W咖啡舉辦。來自華為云存儲團隊的大咖們分享了華為云存儲的技術實踐歷程、高性能分布式存儲架構剖析,以及時下熱門的專屬存儲方案。同時,來自Veritas的專家也帶來了多云環境下的挑戰以及應對方案。
華為云分布式存儲的三次關鍵選擇
做好基礎架構、高性能和高擴展性只是***步,穩定可靠才是存儲系統的生命線。FusionStorage的高可靠來自于“內外兼修”:在外部,全球金融、能源、運營商以及政府等600多家行業客戶選用FusionStorage,總計EB級容量的規模商用過程中積累了大量寶貴的可靠性經驗;在內部,云存儲團隊組建了一支專業的藍軍,不斷打破假設,考慮人為誤刪、元數據損壞等極端因素,持續鞏固可靠性。
“華為云分布式存儲FusionStorage自研發上線至今,已經經歷了7年歷程。其中有三次非常關鍵的選擇。”華為云存儲服務總監石勝兵開場介紹。
- 放棄一套架構同時支持塊、文件和對象,先聚焦把塊做好,同時創新自研強一致性協議,追求***穩定時延;
- 從超融合轉向聚焦云服務,以云服務的方式提供存儲資源和性能;
- 延后如重刪壓縮、雙活、同步、異步等企業特性的交付,聚焦在云所需要的高擴展性和大規模集群的可靠性。
“這三次決策讓FusionStorage堅定地選擇了云,把面向云的架構做好,把性能、擴展性和可靠性做好;同時在軟硬結合上不斷創新,追求***穩定性能,如實現SSD cache、率先支持56G Infinite Band。” 石勝兵表示。
華為云存儲服務總監石勝兵
華為云高性能分布式存儲架構如何做到穩定低時延?
活動當天,華為云存儲資深架構師張志樂,從架構的三方面深度剖析了華為云存儲如何做到了穩定低時延:***,復制和數據路由技術對分布式存儲系統性能起到決定性作用。華為分布式存儲采用強一致性以及DHT路由,因為強一致性時刻保證所有副本的數據都是***的,使用數據時只需讀取主副本,時延比最終一致性更低;元數據路由在數據量增長時索引會急劇增多,而DHT路由和數據量無關,性能上沒有長尾效應。
第二,存儲介質以及網絡方面的優化。SSD的垃圾回收機制會引入寫放大,極端情況下時延增大10倍;大規模集群下多對多數據傳輸,RDMA網絡擁塞問題突出。華為分布式存儲實現了多流分離以及軟件主動Trim,有效避免了無效的數據搬移,提高IO效率的同時,延長SSD的壽命;時刻監控網卡故障以及交換機故障,在觸發PFC風暴之前及時切換業務,避免網絡擁塞引起的雪崩效應。
第三,好的架構必須通過好的代碼實現落地。基于異步線程pipeline的線程調度需要多輪等待喚醒,IO耗時久。華為分布式存儲使用polling模式,網絡上通過RMDA輪詢或者DPDK輪詢,節省內核到用戶態的拷貝和切換;磁盤上通過SPDK,減少中斷和切換,最終實現無線程上下文切換、無中斷、零等待,大幅提高IO效率。
華為云存儲資深架構師張志樂
對公有云的性能而言,僅僅做到以上三點仍不夠,還必須通過QoS機制做多租戶隔離,用戶的性能SLA才能得到保證。華為云存儲提供QoS機制,并且在中國區獨家提供Burst能力,使得小容量云硬盤在短時間內獲得性能突發。
接下來的現場演示,展現了華為云存儲的三項能力:
- 普通IO云硬盤,沒有QoS限制能跑到92000+IOPS,通過QoS限制在穩定1000 IOPS;
- 100 GB高IO云硬盤,借助Burst能力能保持在3000 IOPS半小時以上;
- 共享云硬盤性能線性增長,16掛載點情況下所有掛載點均有20000+IOPS。
華為云專屬存儲方案:魚與熊掌兼得的***實踐
然而,云時代下,企業自建機房運維難度大、成本高、成本高昂,擴容周期長,企業正積極向公有云或混合云轉型。
對于數據安全性、合規性要求較高的政府、大型集團企業或金融機構,對于專屬存儲的需求正持續走高。華為云獨家推出專屬存儲服務,提供私有云級別的物理隔離能力,保證數據安全性、合規性的同時,用戶可以通過服務化的方式按需按量購買,享受公有云的便利性。
華為云服務資深架構師陳鐘平介紹了華為云專屬存儲服務有兩種產品形態:
DSS具有分布式存儲高并發、大帶寬以及靈活擴展的特性,能夠滿足云資源池、HPC以及OLAP等高并發應用場景的需求。如某政府客戶利用DSS構建專屬云,并將城市建筑工人的考勤系統遷移至其上,滿足數據存儲合規性,且節省了自建機房的運維成本。
DESS能夠提供0.5ms穩定低時延,雙活特性保證6個9的業務可用性,支撐Oracle RAC、SAP HANA等企業核心數據庫平滑上云。如某知名企業考慮到數據安全性以及業務可用性,決定采用DESS替代企業高端SAN存儲,配合BMS裸金屬服務器,將核心業務系統平滑遷移上云,然后利用VPC將通用資源區已有的云上業務打通,實現公司整體業務上云。
華為云服務資深架構師陳鐘平
多云環境下的挑戰以及解決方案
未來即將走向多云的時代,但由于現在公有云行業標準化和開放度并不成熟,管理者在做多云部署以及管理的時候往往要面對很多風險和成本,比如數據遷移,在相同技術堆棧之間做遷移都有技術挑戰,遑論在不同公有云的不同技術堆棧之間遷移大量數據。同時,大家現在對一些關鍵問題的認識還比較模糊,比如說數據在多個云之間流動,這個職責是不是云服務提供商應該做的,這里邊有沒有數據管理以及安全的問題,等等。
Veritas一直在作為第三方技術供應商解決平臺之間的差異問題,這個戰略也會延伸到未來的多云時代里。不同的云之間,數據管理、服務遷移以及業務連續性等問題,本質上都是云平臺之間的差異問題,都是Veritas致力去幫用戶解決的。
在未來IT世界,數據將會是比基礎設施更重要的資產,但數據的合規和治理帶來的挑戰一直被大家低估。“歐盟即將出臺把數據管理權力回歸個人的法律,比方說用戶可以要求互聯網平臺將其個人相關數據全部清除,即所謂的‘數據遺忘權’,這里面隱含了一系列數據合規性的管理,如果數據沒有刪除,罰責將會是該公司全年產值的4%。” Veritas解決方案專家殷劍介紹。“Veritas在數據合規性管理上有很長一段時間的積累,能夠做到智能識別個人用戶的數據,并在這基礎上做管理和服務。”
Veritas的VRP管理平臺能夠預測用戶的服務是否能部署、運營在另一個云平臺上,并且滿足合規性;也可以在不中斷業務的前提下,將數據在多個云之間做遷移。但要真正解決多云的問題,我們還面臨著很多挑戰,因為每個公有云都在進行劇烈的迭代和演進,Veritas也在緊跟時代的步伐,與主流公有云廠商一起努力,讓用戶在多云環境上部署、管理業務更加便捷和高效。華為與Veritas長久以來有深入的合作關系,雙方目前在容災備份方面有密切合作,將來會延伸至多云管理等更多解決方案。
Veritas解決方案專家殷劍
活動當天,華為云存儲團隊的專家們就分布式存儲技術實現、公有云運維和容災等問題與參會觀眾進行了深入探討。提問時間現場氣氛持續熱烈,直到散會時間仍有多名熱情觀眾留下與專家互動交流。上
除了線下面對面交流,大家還可以通過華為云社區與大咖線上互動,時間地點不再受限,還能找到志同道合的朋友,共同進步。
華為云技術私享會系列活動還將會在上海、深圳等地陸續開展,覆蓋更多的服務以及解決方案,為大家帶來更多華為云服務的技術干貨分享,敬請期待!
請點擊此鏈接了解華為云更多產品:http://www.huaweicloud.com/product/