如何設計企業云存儲架構
在企業內部服務平臺中,首先需要實現云存儲功能,以提供各部門用戶數據的存儲功能,方便用戶獲取各自需要的數據,包括GPS、視頻、語音等模擬和數字信息等數據。其次需要接入消息與通訊系統,如350兆集群呼叫,手機、移動終端、 固話,及Mail,MSN、QQ、微信等即時通訊(IM Instant Messenger),以實現動態消息推送和位置服務。第三是實現業務功能開發與運行,如在線播放云存儲中的視頻監控圖像、照片及相關資料,以及各業務子系統的運行,為一線用戶和領導提供分析和指揮決策依據。為此需要相應的基礎軟硬件資源,如服務器、存儲和網絡設備、操作系統和數據庫等商用軟件。企業云架構示意見圖1。云存儲、通訊及消息、業務運行系統和軟硬件基礎資源這四個基本要素構成了一個面向終端用戶的操作系統平臺,或稱為企業云,其能夠通過各種瀏覽器或手機App及PC機隨時訪問,滿足用戶在任意時刻、任意地點查看信息的需求。
作為企業云的核心是存儲和計算,其它都構建在存儲和計算之上的基礎服務和用戶運用。企業云主要涉及數據存儲架構和用戶訪問優化等兩方面的技術,下面分別予以簡述。
云存儲架構設計
云存儲主要是為了存儲數據,方便用戶訪問,同時也是為了解決信息共享問題。在云存儲建立之前,各業務部門均是自建專用系統,網絡雖然相通,但由于數據分散存儲在各自系統中,導致信息在業務協同時關聯、互查和引用不流暢。以前各系統間的數據整合和共享主要靠交換接口標準化等SOA方式來實現[4],對于非結構化數據幾乎無法實現,且改造各子系統的工作量巨大和繁瑣。
采用云存儲技術就可以克服上述問題,本文采用HDFS(Hadoop Distributed File System)分布式文件系統的存儲方式,原各業務信息管理系統的數據通過Sqoop工具導入,HDFS實現數據層面的共享。HDFS包括主控服務器(同時配置備用主控服務器以便在故障時接管服務),多個數據服務器(存儲節點),前端接入終端服務消息平臺及各業務子系統數據庫服務器。
圖2 分布式文件系統示意圖
主控服務器Master負責維護整個文件系統的命名空間與路由,以提供用戶使用。該分布式系統架構***的缺點是主控服務器為單點結構,一旦出現故障將造成全系統癱瘓,故在實際應用中采用HA、UCARP等容災備份,以便在故障時接管服務。主控服務器的命名空間結構采用目錄樹結構,建立元數據到數據服務器的映射關系,文件之間的關系等。為了提高檢索效率,可以采取元數據內存化管理方式。主控服務器通過心跳線方式輪詢數據服務器(DS),當發現有DS宕機時,對一些副本數不足的文件(塊)執行復制計劃,也可根據DS數量增減需要執行副本遷移任務。
數據服務器主要解決海量數據的低成本存儲和快速檢索,提高數據存儲的安全性問題。其解決方案是將大塊數據劃分為小數據塊,然后均勻分布到多臺數據服務器上,每個數據服務器存儲的文件數量就少了,對于大文件數據的處理方法是將大文件劃分成多個相對較小的片段存儲在多個數據服務器上,把單個數據服務器上存儲的文件數降到單機能解決的規模,以此降低存儲設備成本和提高效率,并通過多副本復制來提高數據安全性。
終端服務平臺
企業協同作業的終端服務平臺又稱為“永遠在線推送平臺”(AOI Always Online Infrastructure),該平臺是以協同作業應用為導向,以指揮中心的“推送”技術為基礎,為一線人員提供統一的消息推送服務,實現了將消息和內容實時推送到終端的全新體驗。
永遠在線推送平臺(AOI)包括終端中間件和在線服務器,終端中間件提供各類移動和固定終端的接入以及各終端間的通信路由功能;在線服務器提供統一的永遠在線連接安全認證、消息緩存服務、在線業務處理子系統。終端服務消息平臺示意圖如下:
其中,SIP(Session Initiation Protocol)網主要實現會話功能,這些會話可以是Internet多媒體會議、IP電話或多媒體分發,會話的參與者可以通過組播(multicast)、網狀單播(unicast)或兩者的混合體進行通信。
XMPP(The Extensible Messaging and Presence Protocol)網主要用于服務類實時通訊,即時消息(IM)及在線現場探測[2]。XMPP的核心是XML流傳輸協議,借助于XML易于解析和閱讀的特性,使得XMPP的協議能夠允許網絡用戶簡便和流暢地向其他用戶發送信息。
終端服務消息平臺采用軟交換技術(SS Software Switching)吸取了IP、ATM、IN、TDM等技術的優點,采用開放的分層體系結構,不但實現了各種通訊協議的兼容,更重要的是實現了業務系統的融合,為終端用戶提供了統一的消息和內容服務接口。