成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

云時代的大數據存儲-云HBase

大數據
大數據時代數據存儲的特點為:基礎量大、增長快、計算與存儲的實時性要求迫切、支持時效性短、易發散、易產生臟數據,這些HBase自出生起,就滿足這些需求。

縱觀數據庫發展的幾十年,從網狀數據庫、層次數據庫到RDBMS數據庫,在最近幾年的NewSQL的興起,加上開源的運動,再加上云的特性,可以說是日新月異。在20世紀80年代后,大部分的業務確定了使用RDBMS數據為存儲基礎。新世紀開始,隨著互聯網的發展,數據量的增大,慢慢RDBMS數據庫撐不住了,就出現了讀寫分離策略。隨著壓力增加,Master撐不住了,這時就要分庫了,把關聯不大的數據分開部署,一些join查詢不能用了,需要借助中間層。隨著數據量的進一步增加,一個表的記錄越來越大,查詢就變得很慢,于是又得搞分表,比如按ID取模分成多個表以減少單個表的記錄數。經歷過這些事的人都知道過程是多么的折騰。在不同的場景下,就出現各自優秀的分布式數據庫,比如在文檔型存儲下的MongoDB,KV類型的Redis,再比如今天講的列族類型的HBase。

大數據時代數據存儲的特點為:基礎量大、增長快、計算與存儲的實時性要求迫切、支持時效性短、易發散、易產生臟數據,這些HBase自出生起,就滿足這些需求。在大數據時代,我們認為HBase是公認的大數據存儲。HBase的原型出自Google的BigTable,這個跟大數據的GFS及MapReduce齊名的三篇論文,由此開創了大數據時代。目前在阿里,已經有上萬臺的HBase集群,在各個場景下有廣泛的應用。

為什么要上云,需要了解到HBase本身比較復雜,這涉及到分布式、數據存儲、響應延遲,索引等一些分布式、數據庫的知識,對于運維好這個復雜系統還是有一定的難度;要有很好的使用姿勢,雖然API比較簡單,但是各種組合情況下,暢玩好HBase還是需要一定的功力; 上云是趨勢,自己去基于ECS建設又不太了解云環境下,怎么正確部署HBase,怎么跟OSS等云上組件配合。

為此,我們提供云HBase加上專家服務 解決以上3個問題

最后,HBase在阿里集團使用了6年之久,已經在HBase的性能、運維等積累了大量的經驗,我們希望把這些回饋給客戶,例如:我們僅僅單條低字節高頻寫入情況就比社區版本高出30%+的性能。

目前提供的價值點有,以下幾點:

  • 高可靠: 數據備份,數據可靠性9個9
  • 高可用:Master節點強制HA機制,出現問題后直接切換
  • 易運維:一鍵構建、配置修改、一鍵擴容、自動備份、數據流入
  • 高性能:比如開源性能大幅度提升30%+
  • 低成本:后續本地盤、云盤、OSS分級別存儲

技術架構

從技術架構層面看,大致如下:

基礎資源層:我們底層使用了ECS及本地磁盤的架構,保證在低成本的同時又具備高性能

基礎軟件層,我們使用了ALi-JDK及ALi-Liunx,這兩個都有專門的團隊在維護,對云HBase的貢獻,比如:改進gc算法減少毛刺,改進linux中斷提升性能。

HBase內核層,目前使用是跟阿里集團內部一致的版本,也就是說內部所有的性能優化、功能增強在公有云的客戶都可以享受到。這些包括但不限于:提升讀寫性能、增強穩定性、降低磁盤、網絡抖動引起的毛刺等等。 -另外就是運維平臺,逐步完善,后續會包括 監控報警、配置管理、健康診斷等等 易于運維的功能。

目前支持兩種訪問網絡類型,第一種是經典網絡、第二種是VPC網絡。區別就是VPC再加了一層網絡隔離。

經典網絡:

VPC網絡:

使用場景

HBase作為默認的大數據時代的存儲,基本解決以下三大類的場景:

平臺類,基本存放是平臺的產品,就是其它軟件的存儲,比如 目前很就行的kylin,阿里內部的日志同步工具TT,圖組件Titan等。此類存放的往往平臺的數據,有時候往往是無業務含義的。作為平臺的底層存儲使用。

用戶行為類,此類主要是面向各個業務系統。這里的用戶不僅僅指的人,也包括物,比如物聯網。在阿里主要還是人產生的數據,比如:淘寶收藏夾、交易數據、旺旺聊天記錄等等。這里使用比較直接,就直接存放HBase,再讀取。難度就是需要支持千萬級別的并發寫訪問及讀取,需要解決服務質量的問題,比如GC了,就出現大量的毛刺。

報表類的需求,比如報表、大屏等,最出名的就是阿里巴巴的天貓雙十一大屏。

基本上:Mysql支持小數據量,查詢較為復雜的數據應用;HBase支持大數據,查詢較為簡單的數據應用。

后續計劃

一些功能,比如同步等,產品化,直接從rds及離線系統導入數據到云HBase系統中

完善云HBase功能,不斷做精細化

提供HBase on OSS的能力,降低數據存儲的成本

提供雙集群多寫多度的能力,做多區多地域容災

責任編輯:武曉燕 來源: 云棲博客
相關推薦

2013-09-10 09:04:41

云計算大數據存儲

2013-08-08 10:14:52

云存儲云計算

2015-09-06 09:56:26

大數據企業存儲

2013-09-26 17:20:10

大數據云計算迅雷

2021-03-23 17:31:43

大數據互聯網云計算

2015-03-10 10:22:07

2013-07-30 09:39:37

大數據云存儲

2018-06-11 08:19:21

云存儲大數據需求

2013-03-25 10:04:49

大數據云存儲

2016-07-01 15:36:18

云計算

2012-06-06 16:56:13

2014-09-26 14:37:38

大數據運動

2013-11-14 10:27:44

云加速迅雷大數據

2017-11-30 15:17:47

大數據云時代公安機關

2011-11-04 09:31:43

云計算大數據

2018-08-24 09:42:05

云存儲存儲大數據

2012-09-26 10:59:52

大數據云計算云服務

2012-04-06 08:47:44

云計算大數據安全

2013-05-27 09:59:33

數據存儲大數據昆騰存儲

2013-01-28 11:34:11

云對象存儲大數據分析對象存儲
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 伊人在线 | 国产精品国产成人国产三级 | 免费在线观看成人 | 欧洲精品在线观看 | 亚洲一区二区三区四区五区午夜 | 精品久久久久一区二区国产 | 亚洲二区在线观看 | 中文字幕日韩欧美一区二区三区 | 日本三级电影免费 | 在线精品亚洲欧美日韩国产 | 国产免费播放视频 | 日韩精品久久久久 | 日日爱av | 麻豆国产一区二区三区四区 | 欧美一级欧美一级在线播放 | 久久69精品久久久久久久电影好 | 日韩中文在线视频 | 国产精品一二三区 | 日韩a级片 | 91中文字幕在线观看 | 天天草草草 | 国产精品揄拍一区二区 | 国产一区二区在线观看视频 | 韩国精品一区二区三区 | 欧美一区免费 | 成人黄色电影在线观看 | 成人av一区二区在线观看 | 久久亚洲视频网 | 国产精品久久久久久久久久久免费看 | 狠狠久| 在线中文字幕av | caoporn地址| 在线看一区二区 | 免费观看一级毛片视频 | 亚洲成人免费在线观看 | 国产免费高清 | 91精品国产美女在线观看 | 免费播放一级片 | 欧美色综合一区二区三区 | 国产精品久久久久久久久 | 三级免费|