在2013年的QCon上海云計(jì)算分會(huì)場，京東云平臺***架構(gòu)師劉海鋒介紹了京東自主研發(fā)的分布式存儲 – 京東文件系統(tǒng)(JFS)，以及基于JFS的統(tǒng)一數(shù)據(jù)中心存儲策略。除了分布式存儲之外，劉海鋒的團(tuán)隊(duì)同時(shí)也負(fù)責(zé)開發(fā)一套分布式內(nèi)存存儲平臺（RAM store platform），這套自主研發(fā)的快速分布式KV存儲系統(tǒng)可兼容Redis數(shù)據(jù)類型、提供多租戶統(tǒng)一服務(wù)、固有的集群模式、彈性可擴(kuò)展、同步復(fù)制協(xié)議、 常駐但不受限于內(nèi)存、更強(qiáng)的持久性、更低的運(yùn)維與硬件成本。

在2014年的QCon北京大會(huì)，劉海鋒將根據(jù)他們開發(fā)這套系統(tǒng)的經(jīng)驗(yàn)，分享大規(guī)模運(yùn)營Redis的經(jīng)驗(yàn)，自研系統(tǒng)的設(shè)計(jì)思路，以及京東在數(shù)據(jù)存儲方面的技術(shù)體系。InfoQ中文站在會(huì)前對劉海鋒進(jìn)行了一次采訪，邀請他對存儲、Redis等方向分享自己的觀點(diǎn)。

嘉賓簡介

劉海鋒（@劉海鋒0011），京東系統(tǒng)技術(shù)部負(fù)責(zé)人、云平臺***架構(gòu)師、以及京東架構(gòu)委員會(huì)負(fù)責(zé)人。他領(lǐng)導(dǎo)存儲、緩存、消息、服務(wù)框架團(tuán)隊(duì)，致力于打造堅(jiān)實(shí)的系統(tǒng)技術(shù)平臺，穩(wěn)定支持京東業(yè)務(wù)的高速發(fā)展。

InfoQ：先談?wù)勀銓Υ鎯ο到y(tǒng)、云存儲、文件系統(tǒng)、數(shù)據(jù)庫這一塊當(dāng)前發(fā)展趨勢的看法吧。

劉海鋒：數(shù)據(jù)量越來越大，業(yè)務(wù)需求也在增多?；ヂ?lián)網(wǎng)業(yè)務(wù)后臺需要不同的數(shù)據(jù)抽象——object/file/kv/tables……但多租戶統(tǒng)一管 理、服務(wù)化是重要的趨勢。比如，給各個(gè)業(yè)務(wù)提供全托管的RDBMS服務(wù)、緩存服務(wù)、海量非結(jié)構(gòu)數(shù)據(jù)存取服務(wù)，而不是上線一個(gè)業(yè)務(wù)就申請一些機(jī)器搭建存儲。

InfoQ：用內(nèi)存存儲一般都是因?yàn)闃I(yè)務(wù)對讀寫性能有極高的要求。京東大規(guī)模內(nèi)存存儲平臺現(xiàn)在主要服務(wù)于哪些業(yè)務(wù)？這些業(yè)務(wù)對讀寫的要求是什么樣的？

劉海鋒：非常多的在線業(yè)務(wù)都需要高速的緩存。比如每次京東購物下單、商品價(jià)格展示等等。

InfoQ：Redis在官網(wǎng)上的定義是“高級KV存儲系統(tǒng)”，特點(diǎn)在于速度快、數(shù)據(jù)結(jié)構(gòu)豐富。你如何定義Redis這套系統(tǒng)？

劉海鋒：高質(zhì)量的開源軟件。使用方便，速度快，數(shù)據(jù)類型豐富。用得最多的是string, hashmap兩種。

InfoQ：基于Redis進(jìn)行二次開發(fā)的過程中，有哪些需要避開的坑？有哪些是比較好的實(shí)踐？

劉海鋒：Redis是高質(zhì)量的開源軟件。準(zhǔn)確地說，是高質(zhì)量的單機(jī)KV內(nèi)存存儲server。但是要大規(guī)模應(yīng)用到生產(chǎn)環(huán)境，需要做很多工作來滿足公司業(yè)務(wù)需求。

最早是部署使用單個(gè)Redis實(shí)例，然后主從復(fù)制，集群分片，支持presharding的Java客戶端，進(jìn)而完善監(jiān)控體系、配置中心，逐漸建設(shè)了一個(gè)平臺來統(tǒng)一托管整個(gè)公司的Redis集群。

InfoQ：Redis持久化如果持續(xù)進(jìn)行磁盤寫入會(huì)造成進(jìn)程阻塞，這個(gè)問題如何解決？

劉海鋒：RDB dump其實(shí)是fork出一個(gè)子進(jìn)程做的，寫入并不會(huì)阻塞父進(jìn)程。但是fork操作的執(zhí)行開銷較高，會(huì)block父進(jìn)程不能及時(shí)響應(yīng)請求。持久化方式是由 各個(gè)業(yè)務(wù)自行選擇的，有的選擇沒有持久化，有的選擇AOF，有的是RDB但是dump時(shí)間也是設(shè)置好的，比如凌晨幾點(diǎn)等等。

InfoQ：是否研究過目前在Alpha版本的Redis Cluster，有什么發(fā)現(xiàn)？

劉海鋒：當(dāng)然調(diào)研和測試過Redis Cluster，現(xiàn)在還不是production ready，所以我們在按照自己的方式搞定集群模式。

InfoQ：對于京東內(nèi)存存儲平臺，下一步的開發(fā)計(jì)劃是什么？

劉海鋒：從今年年初開始，我們團(tuán)隊(duì)正在研發(fā)和實(shí)施京東的下一代內(nèi)存存儲平臺 - JimStore。簡單地說，JimStore自主研發(fā)的分布式系統(tǒng)（dataserver基于Redis），實(shí)現(xiàn)多租戶統(tǒng)一管理的、彈性擴(kuò)展的Redis集群。

技術(shù)方面，分步驟做了一些事情：

通過分布式選舉做精確的故障檢測；自動(dòng)的故障切換；增加磁盤存儲，較冷數(shù)據(jù)會(huì)淘汰至磁盤，這樣單實(shí)例就支持更大的數(shù)據(jù)量；自主研發(fā)集群模式，實(shí)現(xiàn)容量的透明擴(kuò)展；整個(gè)平臺多租戶服務(wù)。

距第六屆QCon全球軟件開發(fā)大會(huì)（北京站）2014開幕僅剩一個(gè)半月，大會(huì)演講嘉賓已經(jīng)幾近確認(rèn)完畢。大會(huì)的演講內(nèi)容在官網(wǎng)：http://www.qconbeijing.com，以及InfoQ微博、微信公眾帳號的***播報(bào)：@InfoQ、【infoqchina】不斷更新。大會(huì)9折折扣期將在本月26日截止。如欲報(bào)名報(bào)請速點(diǎn)擊報(bào)名頁面。