成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

云計算數據優化存儲系統設計

存儲 存儲軟件
分布式存儲系統作為目前應用較為廣泛的存儲系統,其在云計算方面具有良好的適用性,分布式存儲系統的核心是將服務器資源通過互聯網進行連接通信,在外界看來,其作為一個計算存儲整體提供數據服務。

云計算伴隨著信息化技術及互聯網應用的不斷發展而衍生出來的計算策略,其延伸到互聯網應用的各個領域,能夠對通訊設備進行實時數據通信和交互式計算的全新數據應用形式。云計算模型可以分為傳輸層、計算層以及展示層三個基本層次,其整個計算過程承載了海量數據的處理和存儲,因此,存儲模型的良好性能是其良好運行的保障。

分布式存儲系統作為目前應用較為廣泛的存儲系統,其在云計算方面具有良好的適用性,分布式存儲系統的核心是將服務器資源通過互聯網進行連接通信,在外界看來,其作為一個計算存儲整體提供數據服務。通過研究發現,分布式存儲系統具有以下若干特征:

1)可擴展性。分布式存儲系統的服務器數量可以是幾百臺,甚至上千臺,隨著服務器數量的增加,分布式存儲器的性能也呈線性增加。

2)成本低。分布式存儲系統甚至可以通過普通PC機互聯互通實現,經濟成本較低,同時,其具備自動容錯和負載均衡等特點,隨著服務的提升,線性擴展設備也較為方便,能夠是需要一定程度的自動運維,維護成本也較低[5]。

3)性能優越。分布式存儲系統的計算機集群和服務器集群能夠提供的計算能力極強,具備較強的存儲和技術性能。

4)易用性。對于分布式存儲系統而言,其能夠針對不同的數據應用,向外界提供數據接口,同時,分布式存儲系統必須具備完善的監控服務和運維工具,十分便于其與外界系統和應用的集成。

本文提出的云計算數據優化存儲模型即在分布式系統的基礎上完成的。

1云計算數據優化存儲系統設計

1.1哈希數據分布設計

云計算系統時刻產生海量傳感器采集的用戶信息,而且各種數據分布不集中,當數據量較大時,通過采用兩種方式對數據進行拆分,一是手動拆分的方式,即通過管理員在線下對數據量大的用戶進行標記確認,根據數據量的規模將數據拆分到不同的數據庫集群中。另一種是自動拆分方式,即通過數據分布算法實現大用戶數據流的自動拆分,將拆分后的數據平均分解到若干服務器中[8]。本文設計的數據優化存儲系統采用自動拆分的方式,數據分布算法采用哈希數據分布策略。

本文采用的哈希數據分布策略是在一致性哈希算法(Dis?tributedHashTable,DHT)的基礎上實現的。一致性哈希算法的核心思想描述為:隨機為系統的每個節點分配一個token,隨機分配token形成哈希環。當對數據進行存儲時,首先計算主鍵Key的哈希值,然后按照順時針方向將數據存放到***個等于或者大于該哈希值的token屬于的節點中。一致性哈希算法的優勢在于當對哈希環的節點執行添加或者刪除操作時,不會對該節點的鄰節點產生影響。

將哈??臻g設置為0~2n,則一致性哈希算法的執行流程可以描述為如下步驟:

Step1:為每個服務器節點計算屬于其自身的hash值,然后將哈希值分布到0~2n范圍內的哈希環區間內;

Step2:采用相同的方式計算出待存儲數據對象的主鍵節點的哈希值,也將其分布到哈希圓環內;

Step3:按照順時針方向從數據映射的位置開始搜索,將數據放置在***個找到的哈希節點中。

為了方便服務器位置的查詢,需要維護服務器在哈希環中的位置信息,本文采用的位置獲取方法的計算復雜度為O(logN)。

將哈??臻g設置為0~2n(即N=2n),以Chord系統為參考對象,為了提升查詢的效率,本系統在每臺服務器中產生一個長度為n的路由表,描述如下。

其中,p表示服務器位于哈希環中的唯一ID,路由表中的第i個數據描述了ID為p+2i-1的后繼節點。

1.2分布式協議設計

Paxos協議用于解決多個節點之間的一致性問題。多個節點之間通過操作日志同步數據,如果只有一個節點為主節點,那么,很容易確保多個節點之間操作日志的一致性??紤]到主節點可能出現故障,系統需要選舉出新的主節點。Paxos協議正是用來實現這個需求。只要保證了多個節點之間操作日志的一致性,就能夠在這些節點上構建高可用的全局服務,例如分布式鎖服務,全局命名和配置服務等。

大多數情況下,系統只有一個proposer,他的提議也總是會很快地被大多數節點接受。Paxos協議執行步驟如下:

Step1:批準(accept)過程,Proposer向所有節點發送accept消息,其他所有節點作為接受者(acceptor),接受者可以選擇接受或者選擇拒絕。

Step2:確認(acknowledge)過程,當接受的acceptor數量超過1/2時,則表示提議值可以生效,Proposer向所有的接受者發送acknowledge消息,提醒該提議已經生效。

當網絡發生異常時,存儲系統中可能會同時出現多個不同的Proposer,因此會產生多個不同的提議。提議的內容可以是修改請求,也可以是將自身提升為主節點的請求。一旦Propos?er***次發起的accept請求沒有被多數的接受者所批準,或者與其他請求產生沖突,則必須完整地執行完成Paxos協議的整個流程。

Paxos協議需要考慮兩個問題:正確性,即只有一個提議值會生效;可終止性,即***總會有一個提議值生效。Paxos協議中要求每個生效的提議被acceptor中的多數派接受,并且每個acceptor不會接受多個不同的提議,故而能夠確保其準確性。

2仿真實現及分析

為了驗證本文設計的云計算數據優化存儲系統模型應用效果,作者在OPNETModeler仿真軟件中進行仿真驗證,OPNETModeler提供了完整的通信協議、存儲器模型以及連接線路。

在OPNETModeler中構建的測試場景中,配置兩臺服務器節點,每臺服務器分別于5個數據庫存儲單元相連接,所有的數據通訊均通過有限連接完成,對數據庫的操作主要包含數據讀出和數據寫入兩種類型。讀操作即按照規定的時間將數據從數據庫中讀出,寫入操作即數據存儲過程,數據讀出和數據存儲的速率設定為10M/ms,且按照一致性哈希分布算法檢索出目標數據庫,仿真時長設定為20分鐘,然后對每臺數據庫的容量進行分析對比,查看其分布是否均勻。

測試結果表明,在本實驗中的10臺數據庫存儲單元的存儲容量基本維持平衡,且分布較為均勻,基本維持在135255M左右。因此,可以說明本文設計的云計算數據優化存儲模型具有良好的公平性和一致性,能夠將數據壓力均勻地分布到多個數據集群中去。

作者同時對吞吐量和響應延時做了統計,統計結果表明,數據讀寫的平均吞吐量及響應延時與傳統的順序存儲系統相比,性能有了較大的提升,仿真結果如圖1所示。本文設計的云計算數據優化存儲模型由于引入了哈希分布的概念,使得數據存儲的吞吐量增加了13.1%,平均響應延時減少了10.8%。性能分析可能會很復雜,因為不同情況下系統的瓶頸點不同,有的時候是網絡,有的時候是磁盤,有的時候甚至是機房的交換機或者CPU,另外,負載均衡以及其他因素的干擾也會使得性能更加難以量化。

3結論

通過分析云計算的數據處理特點,作者提出了基于哈希分布的云計算數據優化存儲系統模型。此模型根據云計算的海量數據的分布特性,以一致性哈希分布算法原理為基礎,在充分考慮負載均衡的前提下,完成了基于Paxos協議的系統分布式協議設計。通過在OPNETModeler仿真軟件中構建測試場景,對云計算數據優化存儲系統模型進行測試驗證及分析。測試結果表明,本文設計的云計算數據優化存儲模型相對于順序存儲系統模型在數據吞吐量方面增加了13.1%,響應延時方面減少了10.8%??傮w而言,本文設計的云計算數據優化存儲系統具備可行性。

責任編輯:武曉燕 來源: 云計算與大數據
相關推薦

2023-07-12 08:44:46

湖倉存儲系統數據湖

2018-01-22 09:08:14

存儲系統性能帶寬

2015-06-16 11:51:17

百度云NoSQLAtlas

2018-06-15 09:48:20

云計算數據中心架構

2022-08-30 07:39:37

GPFSSAN存儲

2018-01-31 08:44:20

數據存儲存儲設備存儲系統

2017-07-10 09:02:24

NAS存儲云存儲

2015-03-04 09:39:31

對象存儲系統Hadoop云存儲系統

2021-06-18 06:00:31

存儲系統

2012-12-28 17:31:06

2018-09-29 14:08:04

存儲系統分布式

2021-09-27 22:38:39

云計算安全數據

2019-09-26 10:56:04

云計算數據中心公共云

2013-09-13 17:22:26

云計算數據加密

2023-01-13 08:43:59

云計算數據管理

2015-08-27 09:30:05

2017-10-25 08:44:03

NVMe SSD數據存儲

2012-04-06 09:17:52

云計算數據中心

2021-08-07 05:00:20

存儲系統

2021-07-04 07:07:06

Ceph分布式存儲架構
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 8x国产精品视频一区二区 | 色婷婷久久久久swag精品 | 亚洲成年在线 | 欧美日韩三区 | 国产高清免费在线 | 国产精品久久久久一区二区三区 | 欧美aⅴ| 日韩av在线一区 | 欧美高清免费 | 国产精品视频网 | 精一区二区 | 99爱视频 | 欧美日韩中文字幕 | 久久久久久成人网 | 超碰97人人人人人蜜桃 | 国产午夜精品一区二区三区四区 | 欧美精品久久久 | 91免费福利在线 | 久久99深爱久久99精品 | 久久99久久 | 日日夜夜精品视频 | 成人小视频在线观看 | 在线免费视频一区 | 欧美久久免费观看 | 黄视频免费| 一区二区三区久久久 | 欧美a在线观看 | 亚洲精品久久久一区二区三区 | 91精品国产一区二区三区 | 国产亚洲欧美日韩精品一区二区三区 | 成人午夜精品 | 亚洲精品日本 | 亚洲日韩中文字幕一区 | 欧美一级二级视频 | 九九成人 | 成人深夜福利网站 | 成人网av | 国产亚洲精品精品国产亚洲综合 | 亚洲视频在线免费观看 | 亚洲欧洲日本国产 | 亚洲精品一区二区另类图片 |