向云上遷移數據時如何避免停機和中斷
摘要:越來越多的組織需要在數據中心/云之間移動數據,但是在遷移過程中的一個關鍵風險點是停機。
在2017年的業務持續性意識周這里,我希望它能提供一個新的機會,來回顧這一領域云的一些局限性。
根據451項研究的***估計,大約60%的IT工作負載將在明年以某種形式的公共或私有云運行。It項目在關鍵領域的增長尤其強勁,包括數據分析和核心業務應用。IDC、Gartner和Forrester的研究結果大致相同——云正在迅速成為中心,而不是一般IT供應的外圍設備。
難怪It領導們對數據遷移的風險以及相關的停機時間表示擔憂。現在,典型的數據量1000到100萬倍于10到20年前的普通企業數據庫的大小。這意味著與遷移相關的潛在停機時間將會增加很多倍。這已經不再是一個15分鐘的時間了——這可能是幾個小時的停機時間,而數據問題需要被解決。
企業知道他們需要更多地利用云,特別是做更有戰略性和聰明的事情:高速、高容量的數據處理,以支持實時決策和復雜的自動化。今天產生的數據量也使得建立二級數據中心成本高得令人望而卻步:進一步推動公司進入云計算。
但從這里到那里的痛苦仍然讓人望而卻步。他們的數據在傳輸過程中可能會發生什么,如果他們不能再獲得訪問,如果他們同時被其他地方使用,他們又怎么能繼續使用實時數據呢?
延遲也是一個問題。數據中心的建立非常接近于防止與網絡傳輸相關的性能下降。但在云計算中,物理服務器場之間的距離并不在公司的控制范圍內,因此性能問題——可能會降低數據可用性和協調——是一個重要的考慮因素。
在災難恢復場景中,對停機時間的擔憂也是有效的。當遠程數據中心被調用以使實時系統恢復運行并快速運行時,CIO們就非常適合于擔心停機時間或數據丟失——例如,近距離和遠程系統之間的同步不足。
未來就是現在
無論是日常的后臺系統,還是那些與人工智能或物聯網相關的雄心勃勃的新項目,組織都需要能夠依賴于他們一直在處理的數據的可用性和完整性。
例如,對于無人駕駛汽車來說,所有各方(乘客、汽車制造商、保險公司和第三方服務提供商)都需要絕對保證,他們所連接的車輛儀器、傳感器和基于云的平臺將能夠實時發送、接收、解釋和處理數據。據估計,一個擁有傳感器、相機和激光測量(激光雷達測量)的無人駕駛汽車每秒可以產生100Gb的數據。
使用不斷變化的數據集(不需要停機,也不中斷)提供一個可行的服務的唯一方法是通過我們稱為活動數據復制的東西。這允許實時數據同時存在于多個地方,不存在不同步的風險,也不需要在每個端點更新時中斷。這種能力將使汽車制造商和服務伙伴能夠分析和響應實時數據,了解車輛的運行情況,實時識別異常情況,并先發制人地確定需要采取哪些補救措施。
公司不需要向明星們尋求這樣的數據完整性挑戰。許多組織正在轉向基于hadoop的分析(一種以速度進行大規模數據處理的特殊方式),將大數據轉化為有意義的、可操作的日常活動。例如,許多企業使用Hadoop來分析和響應Twitter活動。但是,這通常意味著將數據放到云中,在那里,所需的處理能力很容易獲得。
除非他們正在處理歷史數據,否則公司將繼續需要訪問其核心業務系統中的數據——這些數據將繼續更新。在這種情況下,使用云進行處理并不是簡單地將一批完整的數據發送到目的地,而是在魔法發生后將其返回到目的地,并將其返回。
緊迫的暫停不是一個選擇
當分析發生在現場,生產數據時,公司無法承受數據來源的位置和數據處理的點不同步。他們也不能等待數天——為了數據的移動,在任何新事物發生之前進行分析和反饋。這不僅僅是停機時間:它是癱瘓。這還沒有考慮到在轉換過程中可能發生的任何腐敗問題,也沒有考慮到Hadoop分析事件后數據被協調的結果。
同樣,避免停機和與數據移動相關的中斷的唯一方法是找到一種方法,在不同位置之間持續更新和同步數據。類似的谷歌通過精心制作的衛星裝置實現了這一點。但你也可以像我們一樣使用聰明的算法。