成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

大數據存儲,讓預測更準確

企業動態
在日常的生活中,人們越來越關注天氣的變化,并根據天氣預報來安排生活和工作。比如平常的雨天會給人們的出行帶來不便,霧霾天氣更是不利于戶外活動,另外許多季節性的疾病也與天氣變化密切相關,關乎人們的身體健康。所以能夠預知近期的天氣情況,可以及早的做好各種準備,能讓人更加從容的安排生活和工作。

在日常的生活中,人們越來越關注天氣的變化,并根據天氣預報來安排生活和工作。比如平常的雨天會給人們的出行帶來不便,霧霾天氣更是不利于戶外活動,另外許多季節性的疾病也與天氣變化密切相關,關乎人們的身體健康。所以能夠預知近期的天氣情況,可以及早的做好各種準備,能讓人更加從容的安排生活和工作。

隨著人們對生活質量的要求不斷提高,對天氣預報要求也越來越高,要求天氣預報的精度高,預報刷新周期短,預測時間范圍廣。這對支撐觀測業務、預報業務的IT系統,尤其是對存儲的性能及容量提出了嚴峻的考驗。因為氣象觀測,會產生大量的觀測數據,接著把這些觀測數據匯聚到地面應用系統的存儲系統,再經過復雜的計算,***才能生成未來天氣的預測結果。因此,輸入的數據越全面,數值越準確,數據的計算處理速度越快,生成的結果就越及時。

傳統的預測領域,存儲系統普遍采用IBM的GPFS和開源的Lustre技術,它們都興起于20世紀90年代,用于生產系統有著共同的特點:

1) 與SAN陣列技術發展同步,存儲的組網模式基本以SAN為主;SAN的組網比較復雜,購買、使用和運維的門檻都比較高

2) 可靠性依賴傳統的存儲節點內的RAID,節點間的可靠性弱

3) 隨著單盤容量越來越大,傳統RAID在出現磁盤故障,其數據重構時間長達數十小時,而且在重構過程中,存儲系統變得非常脆弱,性能下降,數據丟失風險高;

4) 另外隨著數據爆炸性增長,傳統SAN的容量和性能擴展性越來越成為主要瓶頸。

相比于以上兩種傳統分布式存儲,以普通X86服務器為存儲介質,通過對象存儲技術、并行訪問技術、Scale-out橫向擴展技術和單一組網為特征的新型分布式存儲架構得到迅猛發展。分布式存儲系統將大量節點組織成統一系統,提供增刪節點的能力,大大增加了系統可擴展性。其次,將數據分片打散到系統內多個節點的硬盤上,分布式存儲的可靠性大大提升。再者,每個存儲節點上都提供服務的能力,提升了性能,減少了瓶頸點的發生。

分布式存儲,在業界有代表性的產品是華為的OceanStor 9000存儲。OceanStor 9000大數據存儲系統是華為推出的全對稱架構的分布式存儲系統,在業界以領先的卓越性能、大規模橫向擴展能力和超大單一文件系統著稱。

在容量和擴展性方面,OceanStor 9000采用全對稱結構,將所有節點的命名空間整合為統一命名空間,將整個系統的所有節點的存儲容量組成一個大的虛擬存儲池,元數據和數據保存在每個節點上,每個節點都是元數據服務器。同時也是數據服務器,保障了系統的擴展性。

在性能方面,為實現數據保護和高性能讀寫,OceanStor 9000對數據進行按節點條帶化處理,讀寫數據時文件系統將用戶的數據平均分布在各節點上,保障了系統的性能。OceanStor 9000支持全局緩存功能,在高性能計算應用場景時,根據業務對數據的訪問模型進行預測,提前將預計即將被訪問的文件或某些目錄中的所有文件提前預先存儲到系統的全局緩存中,從而提高應用獲取數據的效率。

在可靠性方面,OceanStor 9000的數據保護技術,是建立在分布式、節點間冗余的基礎上的。數據進入系統之后,首先被切分為N個數據條帶,然后計算出M個冗余條帶,并最終保存在N+M個不同的節點中。由于同一條帶的數據保存在不同節點中,所以OceanStor 9000存儲系統中的數據不僅能支持硬盤級的故障,而且能夠支持節點級的故障,保證數據不丟失。只要系統中同時故障的節點數不超過M,系統就可以持續提供服務。通過數據重構過程,系統可以恢復出損壞的數據,恢復整系統的數據可靠性。

除此之外,OceanStor 9000還支持靈活的負載均衡功能,可以根據當前CPU利用率、當前內存利用率、當前網絡吞吐量、當前客戶端連接數等信息,平均的讓每個節點均對外承擔服務。

在真實的應用中,以某氣象機構為例,華為的OceanStor9000的3個節點,單節點寫性能可以達到1.3GB/s,而讀性能可以達到1.9GB/s,由于3節點是其***配置,后續通過增加節點數量,性能容量均能線性提升。

經過以上對OceanStor 9000產品的架構分析以及實際的應用性能分析,該存儲平臺能夠很好的滿足氣象應用中非結構化數據對存儲容量、性能的需求。它能夠根據業務增長進行平滑擴容,系統每增加一個存儲節點,都能夠自動識別,將該存儲空間加入到整系統中,并根據負載均衡的原則,優先選擇新的節點存儲,從而簡化了系統擴容的管理,降低了操作成本。擴容時容量和性能支持線性擴展,真正實現“應需而變”,為業務的長期髙效可靠運行提供保障。

責任編輯:何妍 來源: 51CTO.com
相關推薦

2013-11-26 09:28:01

2020-06-30 16:33:09

Qlik農業大數據

2023-03-03 13:06:34

大腦分層預測

2013-01-28 11:34:11

云對象存儲大數據分析對象存儲

2013-03-04 09:55:18

大數據存儲

2019-01-22 10:40:00

大數據IT云存儲

2023-07-20 10:38:35

可觀測性人工智能

2013-01-18 10:16:42

2019-12-05 16:15:32

云計算行業科技

2021-04-02 13:00:51

大數據數據采集

2014-01-22 15:27:13

大數據

2009-10-30 11:02:30

Windows數據安全

2016-03-14 13:53:52

華為/大數據

2015-02-06 10:36:25

Hadoop

2014-06-19 09:49:26

大數據

2023-06-06 14:50:37

數據中心服務器

2014-09-30 16:24:47

大數據華為

2013-11-08 17:57:01

SAP

2016-03-18 15:51:24

大數據預測
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本福利在线观看 | 欧美成人h版在线观看 | 国产精彩视频 | 综合中文字幕 | 在线免费观看黄网 | 国产精品自拍视频网站 | 亚洲视频欧美视频 | 久久久久久www | 成人网址在线观看 | 日韩一区二区三区精品 | 激情 亚洲 | 欧美日韩久 | 成人免费视频 | 性色av一区二区三区 | 国产欧美一区二区三区免费 | 视频一区中文字幕 | 精精国产xxxx视频在线播放 | 欧美日韩在线电影 | 黄网站色大毛片 | 亚洲视频中文 | 日本三级做a全过程在线观看 | 福利电影在线 | 四虎在线观看 | 国产精品久久久久免费 | 91精品国产麻豆 | 日韩欧美在线一区 | 亚洲欧美一区二区三区1000 | 免费观看一区二区三区毛片 | 日韩久久久久 | 日韩久久久久久久 | h视频在线免费观看 | 亚洲高清视频在线观看 | 精品久久一区 | 美女福利视频网站 | 一级网站 | 亚洲色图在线观看 | 欧美日韩视频 | 999国产精品视频免费 | 人人干人人干人人 | 国产精品中文字幕一区二区三区 | 精品国产乱码久久久久久蜜退臀 |