成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

京東資深架構師張成遠:京東分布式數(shù)據(jù)庫是如何煉成的?

原創(chuàng)
移動開發(fā) 分布式
2016年4月14-15日,由51CTO傳媒主辦的WOT2016互聯(lián)網運維與開發(fā)者大會在北京珠三角JW萬豪酒店召開。秉承專注技術、服務技術 人員的理念,自2012年以來,WOT品牌大會已經成功舉辦了八屆,積累了大量的技術專家資源,獲得了廣大IT從業(yè)者和技術愛好者的一致認可,成為了業(yè)界重要的技術分享交流平臺以及人脈拓展平臺。

作為國內***梯隊的電商企業(yè),京東擁有億萬用戶,每天要應對數(shù)以千百萬計的訪問需求,在其架構和管理方面有何妙招來對數(shù)據(jù)加以支撐呢?在會上,51TO記者采訪了京東資深架構師張成遠。

[[165464]]

張成遠,《Mariadb原理與實現(xiàn)》作者,開源項目speedy作者。目前就職于京東數(shù)據(jù)庫系統(tǒng)研發(fā)團隊,負責京東分布式數(shù)據(jù)庫系統(tǒng)架構與研發(fā)工作,主導了京東分布式數(shù)據(jù)庫系統(tǒng)在公司的落地及大規(guī)模推廣。擅長高性能服務器開發(fā),擅長分布式數(shù)據(jù)庫/存儲/緩存等大規(guī)模分布式系統(tǒng)架構。

分布式數(shù)據(jù)庫的技術核心

京東每天面對海量的數(shù)據(jù)處理采用的是分布式數(shù)據(jù)庫的系統(tǒng),其核心技術及思路又是怎樣的呢?

張成遠表示,京東分布式數(shù)據(jù)庫的關鍵是引入中間件的方式來提供對數(shù)據(jù)的拆分,解決了業(yè)務上單機扛不住數(shù)據(jù)量的問題。對于業(yè)務來說,在單機扛不住的情況下還要自己去關注數(shù)據(jù),這樣它的負擔會非常重,所以京東采用了分布式數(shù)據(jù)庫的方案,讓業(yè)務可以比較方便的使用。京東會進入MySQL的協(xié)議,提供代理的方式,把整個集群管理好,業(yè)務接入時只需要用原生的MySQL客戶端來使用就可以,所以對于業(yè)務的使用負擔會非常的輕。同時京東也有非常完善的監(jiān)控,所以能夠保證業(yè)務接入以后系統(tǒng)的穩(wěn)定和可靠。

數(shù)據(jù)庫的設計架構

京東對容量非常的重視。在前期設計過程中,需要針對業(yè)務進行未來一到兩年甚至兩到三年的容量預估,來進行合理的資源配置。以及考慮到未來擴容的需求,京東可以實現(xiàn)在業(yè)務增長的情況下自動化擴容。

京東在發(fā)展過程中,早期的一些業(yè)務可能放在Oracle里面,也有一些數(shù)據(jù)量較小的業(yè)務是放在MySQL里面。簡單說,因為單機的數(shù)據(jù)量放不下,如果采用分布式數(shù)據(jù)庫我們能夠把它的數(shù)據(jù)進行拆分,相當于可以獲取到一個容量比原來大很多的數(shù)據(jù)庫。

分布式數(shù)據(jù)庫可以存放所有的關系型存儲數(shù)據(jù),并且還可以支撐京東非常多的核心系統(tǒng)。例如訂單、商品、物流還有財務等等。

數(shù)據(jù)的可靠性

但是在這個過程中,數(shù)據(jù)的可靠性又是如何保障的呢?

張成遠表示數(shù)據(jù)的可靠性有兩點,一是服務本身是高可用的,二是數(shù)據(jù)本身是高可靠的。

比如說MySQL層面,我們通過主層,分布式數(shù)據(jù)庫中間件層面,因為我們本身是無狀態(tài)的,所以可以部署多份,來解決高可用的問題。關于數(shù)據(jù)本身高可靠的問題,我們會對數(shù)據(jù)庫里面的數(shù)據(jù)定期進行備份,所以哪怕有誤操作或者其他任何問題,都可以完整的恢復回來。

分布式事物的難點

在實現(xiàn)整個分布式數(shù)據(jù)庫的系統(tǒng)的過程中也不可避免面臨一些困難,比如分布式節(jié)點相關,京東團隊又是如何解決的呢?分布式事物相關最難的問題在于事物的原子性很難保證,一個訪問可能涉及多個節(jié)點,并且每個節(jié)點可能都有問題。尤其是基于MySQL層面做分布式數(shù)據(jù)庫,因為每個節(jié)點事物的ID不一樣,但如果基于存儲的不是MySQL而是其他層面,相對來說會有類似兩階段提交的協(xié)議可以參考,從而解決問題。

很多人會關心到分布式數(shù)據(jù)庫能否保證數(shù)據(jù)的一致性,張成遠認為這不是一致性的問題,而是關系到的分布式事物的原子性的問題。從本質上說如果事物涉及到多個節(jié)點,并且節(jié)點異常,為滿足業(yè)務的需求會引入相關系統(tǒng),可以把丟失的東西補回來。還有一種方法,就是在使用上和業(yè)務溝通,將相關的事務進行拆解。拆分后,每次的訪問之落在一個分部或者節(jié)點上,如此一來可以保證每次的訪問要么成功要么失敗,可以很巧妙的從另一個方式繞過這個問題,用來保證原子性。

采訪***

國內不乏綜合型電商平臺,而京東卻是中國***的自營式電商企業(yè),是中國***個成功赴美上市的大型綜合性電商平臺,同時與騰訊、百度等中國互聯(lián)網巨頭共同躋身全球前十大互聯(lián)網公司排行榜,京東的成功與其有著優(yōu)秀的數(shù)據(jù)庫管理是密不可分的。

 

責任編輯:陳琳 來源: 51CTO
相關推薦

2017-09-16 18:29:00

代碼數(shù)據(jù)庫線程

2023-07-31 08:27:55

分布式數(shù)據(jù)庫架構

2023-03-07 09:49:04

分布式數(shù)據(jù)庫

2018-09-29 09:47:41

開源分布式數(shù)據(jù)庫

2016-08-30 18:01:12

raftSQLNewSQL

2023-04-26 06:56:31

分布式數(shù)據(jù)庫偽需求

2023-12-11 09:11:14

TDSQL技術架構

2021-12-20 15:44:28

ShardingSph分布式數(shù)據(jù)庫開源

2023-12-05 07:30:40

KlustronBa數(shù)據(jù)庫

2023-07-28 07:56:45

分布式數(shù)據(jù)庫SQL

2017-01-10 16:18:26

分布式存儲建設

2022-12-08 08:13:11

分布式數(shù)據(jù)庫CAP

2023-11-14 08:24:59

性能Scylla系統(tǒng)架構

2022-03-10 06:36:59

分布式數(shù)據(jù)庫排序

2022-06-09 10:19:10

分布式數(shù)據(jù)庫

2020-06-23 09:35:13

分布式數(shù)據(jù)庫網絡

2024-09-09 09:19:57

2022-08-01 18:33:45

關系型數(shù)據(jù)庫大數(shù)據(jù)

2011-05-19 09:18:48

分布式數(shù)據(jù)庫

2015-10-16 18:03:25

Docker分布式CoreOS
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 精品国产欧美一区二区 | 综合久久亚洲 | 亚洲福利精品 | 国产成人精品午夜 | 日韩一区二区三区视频 | 精品一区二区三 | 久久av资源网 | .国产精品成人自产拍在线观看6 | 亚洲97 | 伊人免费观看视频 | 国产精品一二三区 | 亚洲精品不卡 | 懂色av一区二区三区在线播放 | 精品久久中文字幕 | 亚洲国产成人av好男人在线观看 | 日本亚洲精品成人欧美一区 | 欧美二区在线 | 久久国产视频一区 | 日韩一区二区在线视频 | 欧美日本在线 | 久久出精品 | 欧美激情a∨在线视频播放 成人免费共享视频 | 亚洲福利在线观看 | 中文字幕亚洲视频 | 成人h视频在线观看 | 96久久久久久 | 狠狠操你| 综合色站导航 | 欧美激情精品久久久久久 | 国产三级一区二区三区 | 日韩视频 中文字幕 | 久久综合久久自在自线精品自 | 中文字幕第一页在线 | 国产1区| 一区二区视频 | 国产精品日韩高清伦字幕搜索 | 精品国产91乱码一区二区三区 | 亚洲激情在线观看 | 麻豆av在线免费观看 | 无码一区二区三区视频 | 成年男女免费视频网站 |