亞馬遜云科技:加速云端存儲創新,聚焦智能、專門構建和統一保護
原創當今,每個業務都應該是數據驅動的業務,從數據到云服務,到用戶體驗再到反饋,是一個持續創新的正循環的飛輪,在這其中,數據在企業業務中起著非常重要的作用。數據的爆發性增長,尤其是云上數據增長已經是新常態。這就帶來了三大難題。
首先是敏捷和成本之間的挑戰,即如何應對海量數據增長所帶來的成本急速上升,與數據存儲服務敏捷性能之間的矛盾。
第二是數據本身多樣化的需求,業務數據來自于各個渠道、各種方式,各個業務數據本身的性質不同,所使用的方式也不一樣,如何設計不同的存儲服務來滿足不同業務的需求是第二大難題。
第三是數據安全與合規的問題。
亞馬遜云服務從2006年推出第一個云存儲服務Amazon S3以來,已經擁有了非常豐富、完善的云存儲產品。從塊存儲到對象存儲、文件存儲、備份、容災以及邊緣網絡和數據傳輸等存儲服務,共同組成亞馬遜云科技存儲服務的“全家桶”。而解決以上三大難題,亞馬遜云科技也有著自己的一套方案。
用智能分層來解決敏捷和成本之間的挑戰
亞馬遜云科技從2006年推出第一個對象存儲產品Amazon S3以來,都在不斷優化成本,為用戶節約存儲所需要花的錢。“一份數據在2006年的時候如果需要100塊錢存儲的話,到了今天只需要花15塊錢,也就是說這16年間,整個存儲成本降低了大約7倍。2021年12月,亞馬遜云科技宣布將全球九大可用區域的兩個主要產品:Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access價格降低了31%。” 亞馬遜云科技大中華區產品部總經理陳曉建表示,“降低用戶存儲成本是我們非常重視的工作。”僅僅解決成本問題不能解決存儲本身帶來的所有問題,數據來源多種多樣,使用方法也不同,針對熱、溫、冷、凍四個層次的數據,亞馬遜云科技開發了多達8層的存儲層級,用戶可以根據自己的數據類型、需要的讀寫性能、可以接受的成本來選擇其中任何一種存儲層級,來應對整個業務的需求。亞馬遜云科技提供的Amazon S3 Glacie歸檔存儲,價格低廉,一個GB數據一個月的存儲成本只要3分錢人民幣,其代價就是讀取這個數據可能需要幾分鐘,甚至幾個小時。如果客戶需要秒級甚至毫秒級存儲性能,則可以使用Amazon S3 Standard—IA的 “溫”存儲服務,但是價格比Amazon S3 Glacier貴3倍左右。
亞馬遜云科技大中華區產品部總經理陳曉建
為了兼顧低成本和快速檢索,亞馬遜云科技推出了一個革命性的新產品Amazon S3 Glacier Instant Retrieval,是歸檔存儲的一種。其價格和普通的Glacier相當,但是用戶數據的取回速度是毫秒級的,再一次定義了歸檔存儲。
早在2018年,亞馬遜云科技就推出了Amazon S3智能分層功能,面向未知訪問模式的海量數據。Amazon S3可以自動在不同層級的存儲之間移動數據,實現至多68%的成本節省。Amazon S3智能分層已經涵蓋了Amazon S3家族的幾乎所有存儲類別,實現數據全生命周期的智能化存儲與使用。客戶可以將Amazon S3智能分層作為默認的存儲層級,用以構建包括數據湖、機器學習等各種云端應用。據悉,某國內互聯網公司幾十PB的數據通過智能分層在保證數據訪問性能不變的情況下節省了62%的成本。
亞馬遜云科技還將智能分層功能拓展到了共享文件存儲Amazon EFS。Amazon EFS提供四種存儲等級,可節省高達72%的存儲成本。
專門構建不同的云存儲服務來解決數據本身多樣化的需求
針對云原生現代化應用,例如網站托管、數據湖、數字營銷、云相冊、音視頻分享、電商平臺、社交媒體等應用,亞馬遜云科技有云原生Serverless文件存儲Amazon EFS,可以讓用戶獲得簡單、無管理成本、海量彈性擴展、高度集成、自動優化的體驗。針對云端企業級應用,例如ERP/CRM、數據庫、自動駕駛、生命科學、混合云、模擬仿真、氣象分析、EDA、視頻渲染等,亞馬遜云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服務,Amazon EBS IO2 BX是為運行在線下數據中心SAN存儲上的應用而設計。
Amazon FSx家族是為了應對Windows、高性能計算、各類企業應用、大數據環境場景而構建的,X意味著多種文件存儲類型。其中,Amazon FSx for Windows File Server可以完美支持 Windows Server工作負載。2021年11月發布的全新一代Amazon FSx for Lustre,與當前一代相比,提供5倍的吞吐量(每 TB 高達 1GB/秒),支持與S3的數據更新雙向同步,在S3或Lustre任一側更新數據,都可以在另外一側實現自動快速同步,可以幫助客戶快速完成高性能計算,如基因測序,新藥研發,自動駕駛模擬仿真,半導體設計等任務。全球領先的風電智能化服務商金風慧能采用亞馬遜云科技的HPC集群和Amazon FSx for Lustre高性能共享文件系統,在一周內完成系統搭建,整個系統讓金風慧能的氣象數據計算時間縮短了1/3, 每年節約了~70%的成本。亞馬遜云科技在2021年11月發布了Amazon FSx for OpenZFS,面向大數據分析Linux工作負載。針對那些以往把數據放在ZFS或者其它Linux文件服務器、而不希望改變架構的云遷移客戶。通過它,可以讓ZFS或其他基于Linux的文件服務器遷移到亞馬遜云科技時不需要改變應用和管理數據的方式,提供高達1百萬IOPS ,而延遲僅有幾百微秒,非常適合運行像機器學習和音視頻實時處理這類數據密集型工作負載。
2021年9月亞馬遜云科技發布了Amazon FSx for NetApp ONTAP方便企業業務無縫遷移上云。使客戶能夠在亞馬遜云科技上啟動、運行和擴展全面托管的NetApp ONTAP文件存儲服務,無需修改其應用、工具、流程或工作流,即可將其在NAS設備上運行的應用遷移至亞馬遜云科技。Amazon FSx for NetApp ONTAP讓客戶可使用其已經熟悉的NAS工作流來部署、管理應用和數據,同時盡享亞馬遜云科技帶來的敏捷性、可擴展性和安全性,以及與亞馬遜云科技其它服務之間的無縫集成。
在Amazon FSx for NetApp ONTAP的助力下, 嘉里物流通過系統自帶的SnapMirror功能,快速把線下數據的中心NetApp ONTAP的數據遷移到亞馬遜云科技上,在云上,利用Amazon FSx for ONTAP Snapshots 來實現關鍵數據的快速備份保護,云上的存儲空間和備份空間都是即開即用,隨時擴容。免除了復雜的管理開銷,方便的實現了業務數據在各個國家不同部門之間的安全快速共享,提升了業務系統的安全性和可靠性。
用統一數據保護和一站式數據備份解決數據安全與合規的挑戰
面對企業數據備份的三大挑戰:管理復雜、安全合規挑戰、成本高昂,亞馬遜云科技的解決之道是Amazon Backup--云上的一站式備份服務。
Amazon Backup提供圖形化管理控制臺,提供基于策略的備份解決方案,簡化備份管理;通過集中式的備份監控和日志,以及數據安全和權限管理服務,確保備份數據的安全合規;通過數據冷熱分層來降低成本。澳大利亞領先的獨立石油和天然氣生產商Santos采用 Amazon Backup,極大的減輕了IT人員的工作負擔。不僅備份時間減少了80%,降低了相關運營成本50%,最重要的是,備份任務的成功率從 80% 提高到 100%,完全滿足了合規需求。
十六年來,亞馬遜云科技存儲服務已經成為IT行業的“水”和“電”,讓各行各業的業務都能從存儲服務中獲得價值。亞馬遜云科技始終保持Day1的心態,持續開發新的功能,為用戶帶來更多的價值。