10萬人的郵箱存儲系統,應該這么搭
郵件系統平臺作為每個企業不可或缺的業務系統,已經不僅僅是單純的信息傳送工具,更是關系到企業決策流程、數字資產管理的核心關鍵業務系統。
當你需要搭建一個支撐超大型企業(十萬+)郵箱用戶的超級郵件系統平臺時,該選擇怎樣的存儲架構,如何設計存儲的性能和容量需求,特別是數據如何遷移,以及數據的安全性又如何保證呢?
本文通過一個郵件項目
設計部署的案例
來給讀者提供一些實操的經驗分享
步驟一 業務環境分析
郵件系統的特點是數據量巨大且增長迅速,數據訪問性能要求高,同時對于系統數據的安全性、業務處理的高可用性都有很高的要求。
那么如何了解到客戶業務環境中實際的數據存儲壓力?不得不提到戴爾易安信大名鼎鼎的Live Optics數據應用環境分析工具。
Live Optics是一個比業界同類其他工具更為直觀的需求分析工具。運用這個免費工具,客戶與架構設計師可以清晰了解當前應用環境的真實IT負載,對于數據訪問的壓力情況、數據增長情況、各個業務模塊IO訪問的詳盡情況等。
有了這些數據,就可以為存儲設備的選型、架構的設計提供了詳實的一手材料,確保存儲選型更加準確,并貼合客戶的真實業務需求。
步驟二 應用軟件需求分析
Microsoft Exchange是企業級用戶廣泛采用的郵件系統軟件平臺。本文的討論基于Exchange Server 2016版本。該版本針對存儲系統的規劃提出了一系列基本要求和最佳實踐,其中最重要的一些需考慮因素包括:
- Exchange 2016建議采用SAN存儲架構(FC或者iSCSI鏈路均可),但要求勿與其他應用程序共享物理磁盤備份Exchange數據;
- 用于存儲Exchange數據的所有存儲必須是塊級存儲,因此Exchange 2016不支持使用NAS卷;
- Exchange在考慮磁盤介質的選擇時,最低要求是負載下保持延遲不大于20毫秒左右的平均讀寫速度;
- Exchange 2016郵箱服務器每個數據庫的大小雖然最大支持到16TB,但是最佳實踐為2TB或更小。
建議大家在為Exchange規劃存儲系統時,仔細查看Exchange Server存儲部署相關章節。
步驟三 計算應用所需存儲資源
在滿足Exchange這些基本要求的前提下,又該如何對存儲產品進行選型呢?
一個完善的郵件系統存儲平臺需要在容量、性能、安全、效率這幾個方面來進行規劃。在計算Exchange郵件系統的容量和性能需求時,有個重要的工具建議大家一定要用,就是下面這個ExchangeCalc9.1。
在這個工具里輸入自己企業的對于郵件平臺的基本要求,比如郵箱數量、郵箱大小、每天多少郵件、每個郵件的平均大小以及每個數據庫的副本個數,該工具即可自動計算出所需要的存儲容量、所需IOPS性能要求、建議的存儲卷的劃分,甚至可以計算出遠程數據復制所需要的鏈路帶寬。
下圖就是一個典型的10萬人郵箱系統的基本需求圖示▼
- 系統設計郵箱規模為10萬個郵箱用戶,每個用戶2GB郵箱空間。
- 設置北京和上海兩個站點來實現郵件數據的遠程復制,兩個站點設計完全對等,通過ExchangeDAG方式實現應用級別的冗余。
- 郵件數據的冗余設計為1份主數據3份副本數據。
- 郵件系統的存儲容量超過1PB,存儲系統要求達到30000以上的IOPS性能指標。
- 未來當單個郵箱的空間達到10GB時,郵件系統整體的存儲容量將超過5PB的空間需求。
步驟四 選擇滿足業務需求的產品
最終,通過Live Optics的分析,以及ExchangeCalc9.1的規劃思路,該客戶最終選擇了戴爾易安信SC存儲來實現公司郵箱平臺的在線存儲方案。
戴爾易安信SC系列是深受客戶信賴的企業級存儲產品,迄今為止客戶裝機量已經超過5萬套,其高性能、全面的存儲功能、以及高效的存儲效率都為客戶關鍵業務數據的存儲管理創造了巨大價值。
在選型上,采用4臺高端型號SC9000來搭建整體的存儲平臺。北京和上海各配置2臺SC9000磁盤陣列,在容量上滿足每個PB級可用容量要求。
并且,SC9000單臺設備提供高達1000塊硬盤以上的擴展能力,為將來郵件系統容量的增長保留了足夠的空間。
步驟五 方案特點總結
那么這套方案又有哪些亮點呢?
▐ 首先,在此次上新郵件平臺的時候,遇到的第一個難題就是客戶原有郵件平臺上的數據,如何遷移到新存儲設備。
該客戶原有的幾百TB郵件數據保存在戴爾易安信SC5020上。而如果通過數據遷移的方式,勢必會花費大量時間,影響到業務的正常上線。此時,SC系列存儲的聯邦存儲功能(Federation)幫了大忙。
強大的聯邦存儲功能讓客戶遷移無憂,運維無憂
SC的聯邦存儲功能可以在多臺SC存儲陣列,甚至是不同代不同型號之間構建一個強大的存儲虛擬集群,形成一個對主機和業務系統完全透明的存儲資源池。
這個存儲池的資源總量可以達到多個控制器,多個存儲鏈路的并發工作,形成一個“超級存儲”,存儲卷可以在這個資源池中的各臺存儲陣列之間靈活的漂移。
利用這個功能,將新上線的SC9000存儲和原有SC5020存儲組成一個聯邦集群,不僅確保了業務快速上線,同時利用data migration功能將原有存儲上的數據在線遷移到新的存儲設備,大大縮短了項目的實施周期,滿足了客戶要求。
▐ 其次,在管理和維護這樣多臺存儲設備的大型存儲環境時,常常會有固件升級或者硬件更換等常規維護操作,但是對企業郵件系統來說,需要確保7*24不能停機。
如何在存儲設備進行維護時也能保證業務實時在線?SC的聯邦存儲功能可以幫助管理員在需要對某臺磁盤陣列做升級維護操作時,只需將這臺存儲上對應的存儲卷漂移到其他磁盤陣列上,就可以對這臺存儲進行維護操作而不影響正常業務。
該功能還具有極強的冗余容錯能力,當該資源池中的某一臺存儲出現故障或者性能告警時,可以自動或手動的將故障陣列上的卷遷移到其他正常工作或者性能較好的陣列上去,保證整個資源池內性能的平衡。
▐ 第三,郵件系統數據具有典型的熱點現象。一般來說,14天之內的數據是會被頻繁訪問的數據,該部分數據需要配置最高性能的存儲介質來滿足,而14天之后,數據訪問頻率下降但又需要長期保存,此時就需要相對性能較低但是容量更大的存儲介質來滿足。
該方案充分利用戴爾易安信SC存儲業界領先的自動數據分層功能,在存儲陣列上配置整體容量的20%為高性能的SSD介質,并配置自動分層軟件。
該功能將活躍數據塊自動寫入SSD層介質,提供極高的訪問性能和良好的客戶體驗。同時把非活躍數據塊自動挪入低速盤,在同時滿足容量和性能要求的同時提供更好的性價比。
除了以上說到的SC存儲功能亮點,方案中還配置了多種必要的存儲功能軟件來提高系統的數據安全和管理能力。例如:
存儲設備整體的虛擬化管理
可通過使用幾個簡單的點擊步驟完成許多復雜功能來縮短時間和減少工作量,從而加快完成常見存儲任務和復雜存儲任務。
持續數據保護功能
可創建任意數量節省空間的數據副本,幾乎可即時從數據災難中恢復,無傳統數據回放的任何限制,為郵件系統的核心數據安全提供最強的保障。
空間精簡配置
與預先分配容量相反,僅在應用程序寫入數據時占用物理磁盤空間,從而最大限度地提高存儲利用率。
存儲資源管理軟件
通過Unisphere以及CloudIQ管理平臺,實現單一控制臺進行多站點和多系統管理,并提供一套高級存儲資源管理和報告功能。
結 語
通過以上對郵件系統存儲規劃方法的梳理以及一個真實案例的介紹,相信大家對于設計郵件系統的存儲方案已經有了不少思路。
隨著當下企業對郵件系統的數據管理的要求越來越高,海量郵件數據需要長期保存,滿足不同行業用戶對電子郵件數據安全、法規遵從、電子舉證以及其他個性化的使用需求。因此除了郵件系統的在線存儲部分,郵件的備份、歸檔等存儲設計同等重要。
戴爾易安信一直致力于不斷開發和提供各種新技術和易于使用的存儲解決方案,包括存儲整合、備份和恢復產品,數據歸檔、數據災難恢復產品和合規性產品等,能夠為客戶構建起覆蓋整個數據生命周期的存儲管理解決方案,實現數字化轉型保駕護航。