【51CTO.com原創(chuàng)稿件】七年一劍，華麗蛻變。自2012年起連續(xù)6年15場(chǎng)峰會(huì)，凝聚大量技術(shù)專家，博觀而約取，厚積而薄發(fā)。2018WOT全球軟件與運(yùn)維技術(shù)峰會(huì)5月18日揚(yáng)帆起航，圍繞12大核心熱點(diǎn)，匯聚海內(nèi)外60位一線專家，打造高端技術(shù)盛宴!

在5月18日下午的C會(huì)場(chǎng)“大數(shù)據(jù)處理技術(shù)”專場(chǎng)中，PingCAP聯(lián)合創(chuàng)始人兼CTO黃東旭將帶來精彩的分享。會(huì)前，51CTO記者有幸采訪到他，針對(duì)HTAP數(shù)據(jù)庫和TiDB進(jìn)行了深入的交流。

PingCAP聯(lián)合創(chuàng)始人兼CTO 黃東旭

創(chuàng)立PingCAP的理由異常簡(jiǎn)單

黃東旭提到，自己與朋友一同創(chuàng)業(yè)，理由很簡(jiǎn)單，源自一個(gè)需求。彼時(shí)，黃東旭與劉奇(現(xiàn)任PingCAP CEO)同屬豌豆莢的分布式存儲(chǔ)團(tuán)隊(duì)，當(dāng)時(shí)的他們開源了Codis，解決了豌豆莢內(nèi)部緩存的擴(kuò)展性問題，數(shù)據(jù)庫問題成了硬骨頭。如何構(gòu)建一個(gè)對(duì)業(yè)務(wù)端透明，兼具良好的擴(kuò)展性和完整的分布式事務(wù)支持的數(shù)據(jù)庫，是構(gòu)建新一代微服務(wù)架構(gòu)的核心問題之一。當(dāng)時(shí)，團(tuán)隊(duì)在開源社區(qū)并沒有找到比較好的方案，分庫、分表、中間件，這些傳統(tǒng)做法在涉及到業(yè)務(wù)大的改動(dòng)時(shí)會(huì)帶來很大的運(yùn)維成本，如何徹底解決這個(gè)問題呢?

受當(dāng)時(shí)Google發(fā)表的一系列在分布式數(shù)據(jù)庫方面的論文(Spanner/F1)啟發(fā)，PingCAP的初創(chuàng)團(tuán)隊(duì)打算從頭開始實(shí)現(xiàn)一個(gè)新一代的關(guān)系型數(shù)據(jù)庫，來解決關(guān)系型數(shù)據(jù)庫的擴(kuò)展性問題。由此看來，PingCAP創(chuàng)立的初衷很簡(jiǎn)單，就是幾個(gè)工程師想要解決一個(gè)很困難的技術(shù)問題，同時(shí)想通過開源的方式幫到大家。

TiDB研發(fā)早期經(jīng)歷的那些事兒

在TiDB研發(fā)早期，從SQL層開始，第一個(gè)開源的TiDB版本其實(shí)并沒有存儲(chǔ)引擎，后端存儲(chǔ)是HBase，為了加入存儲(chǔ)層，也為了驗(yàn)證SQL的正確性，PingCAP團(tuán)隊(duì)決定為HBase加入分布式事務(wù)的支持，直接對(duì)接在TiDB SQL層的后端，這種方法確實(shí)可行。但是考慮到性能和其他一些因素，PingCAP很快決定用Rust重新實(shí)現(xiàn)一個(gè)全新的分布式存儲(chǔ)層，也就是后來的TiKV。彼時(shí)Rust還是一門比較新的語言，且以學(xué)習(xí)曲線陡峭著稱，整個(gè)團(tuán)隊(duì)成員都沒有相關(guān)經(jīng)驗(yàn)，好在得到了Rust語言官方的諸多支持，PingCAP和Rust語言共同成長(zhǎng)了起來，如今，TiKV已經(jīng)是Rust社區(qū)的明星項(xiàng)目，同時(shí)PingCAP也是多個(gè)知名項(xiàng)目(如gRPC 等)的Rust語言開源實(shí)現(xiàn)的主要維護(hù)者。黃東旭表示看到Rust語言越來越火，感到非常的高興和欣慰。

PingCAP是國(guó)內(nèi)首家開源的新型分布式數(shù)據(jù)庫公司，其獨(dú)立研發(fā)的分布式數(shù)據(jù)庫產(chǎn)品TiDB是一款定位于HTAP(Hybrid Transactional/Analytical Processing)混合事務(wù)/分析處理數(shù)據(jù)庫的融合、創(chuàng)新型數(shù)據(jù)庫產(chǎn)品。為了實(shí)現(xiàn)這一目標(biāo)，TiDB在架構(gòu)上將計(jì)算和存儲(chǔ)層進(jìn)行高度的抽象和分離，對(duì)混合負(fù)載的場(chǎng)景通過IO優(yōu)先級(jí)隊(duì)列，智能副本調(diào)度，行列混合存儲(chǔ)等技術(shù)使其變?yōu)榭赡堋Ａ硗猓赥iSpark項(xiàng)目中，將TiDB的存儲(chǔ)層和Spark的計(jì)算引擎高效地連接在一起，讓用戶也能夠在Spark生態(tài)系統(tǒng)下實(shí)時(shí)的對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行復(fù)雜分析。

黃東旭認(rèn)為，HTAP給開發(fā)者提供了一個(gè)實(shí)時(shí)數(shù)據(jù)分析方面的新思路，不需要再去維護(hù)另一個(gè)離線的數(shù)據(jù)倉庫，既減輕了ETL的工作，又能節(jié)省很大一部分的建立數(shù)據(jù)倉庫所用到的存儲(chǔ)和計(jì)算成本，HTAP將是未來的重要趨勢(shì)。

HTAP數(shù)據(jù)庫的三類應(yīng)用場(chǎng)景

一是大中臺(tái)的場(chǎng)景。例如，前臺(tái)的數(shù)據(jù)庫已經(jīng)分庫分表或已水平拆分，TiDB可以作為所有線上生產(chǎn)庫的從庫，實(shí)時(shí)將數(shù)據(jù)同步到一個(gè)大的TiDB集群上，在這一層將數(shù)據(jù)打通，可以直接進(jìn)行復(fù)雜的跨庫、跨表、跨業(yè)務(wù)的實(shí)時(shí)SQL查詢，由于這是基于MySQL的協(xié)議和語法，對(duì)業(yè)務(wù)的侵入性很小，開發(fā)者無需再去學(xué)習(xí)新的查詢語法。

二是為微服務(wù)提供強(qiáng)一致的持久化數(shù)據(jù)層(the source of truth)。其實(shí)微服務(wù)乃至后來的Serverless架構(gòu)，一個(gè)核心的問題就是持久化數(shù)據(jù)層，要將無狀態(tài)的業(yè)務(wù)邏輯容器化、服務(wù)化很方便，但是帶狀態(tài)的存儲(chǔ)層在滿足SQL和強(qiáng)一致甚至ACID的情況下實(shí)現(xiàn)彈性伸縮，在現(xiàn)有的方案下仍十分困難，而TiDB可以完美的在這類架構(gòu)中填補(bǔ)這一空白。

三是MySQL分庫分表的完美替代品。TiDB與MySQL的語法、MySQL社區(qū)的工具(如Mydumper/PhpMyAdmin等)完美兼容，可讓MySQL應(yīng)用無需修改便可直接運(yùn)行。這讓很多用了MySQL的業(yè)務(wù)在遇到大數(shù)據(jù)量的場(chǎng)景時(shí)，能夠無縫的切換。

TiDB解決MySQL可擴(kuò)展性的實(shí)現(xiàn)原理

TiDB產(chǎn)品的整體架構(gòu)是分層的，由分布式SQL層(TiDB)、分布式KV存儲(chǔ)引擎(TiKV)以及管理整個(gè)集群的PD模塊組成。無限水平擴(kuò)展是TiDB的一大特點(diǎn)，這里所說的水平擴(kuò)展包括兩方面：計(jì)算能力和存儲(chǔ)能力。TiDB Server負(fù)責(zé)處理SQL請(qǐng)求，隨著業(yè)務(wù)的增長(zhǎng)，可以通過簡(jiǎn)單的添加TiDB Server節(jié)點(diǎn)，在提升整體處理能力的同時(shí)，提供更高的吞吐能力。TiKV負(fù)責(zé)存儲(chǔ)數(shù)據(jù)，隨著數(shù)據(jù)量的增長(zhǎng)，可以部署更多的TiKV Server節(jié)點(diǎn)，解決數(shù)據(jù)Scale的問題。PD會(huì)在TiKV節(jié)點(diǎn)之間以Region為單位進(jìn)行調(diào)度，將部分?jǐn)?shù)據(jù)遷移到新加的節(jié)點(diǎn)上。由此可見，企業(yè)在業(yè)務(wù)的早期可以只部署少量的服務(wù)實(shí)例，隨著業(yè)務(wù)量的增長(zhǎng)，能夠便捷地按照需求添加TiKV或TiDB實(shí)例。

據(jù)介紹，目前，包括摩拜單車、同程旅游、餓了么、360金融、游族網(wǎng)絡(luò)、今日頭條、蓋婭互娛、猿輔導(dǎo)、易果集團(tuán)、去哪兒網(wǎng)等200余家不同行業(yè)的領(lǐng)先企業(yè)已經(jīng)將TiDB應(yīng)用在實(shí)際的生產(chǎn)環(huán)境中，涉及互聯(lián)網(wǎng)、游戲、金融、政府、電信、制造業(yè)等多個(gè)領(lǐng)域。

其中，今日頭條和易果集團(tuán)都是比較典型的案例。

今日頭條：用TiDB替換原有的主從MySQL數(shù)據(jù)庫

以今日頭條為例，今日頭條APP的自研S3存儲(chǔ)系統(tǒng)，數(shù)據(jù)量級(jí)已近上百億。在用TiDB前，今日頭條的元數(shù)據(jù)存在MySQL 2.8TB的磁盤里，因?yàn)閿?shù)據(jù)量增長(zhǎng)迅速，導(dǎo)致磁盤不夠用，只能用分庫分表的方案，當(dāng)時(shí)的方案是MyCAT。但是分庫分表帶來一些問題，如：無法做OLAP分析;有丟數(shù)據(jù)的問題，數(shù)據(jù)雖然已經(jīng)commit，實(shí)際并沒有保存下來;還有連接的問題，有些業(yè)務(wù)沒有帶分片鍵的查詢，會(huì)消耗非常多的連接，造成沒有連接的情況。

如今，今日頭條使用TiDB替換了原有的主從MySQL數(shù)據(jù)庫，上線后效果非常明顯：

• TiDB支撐著今日頭條OLTP系統(tǒng)里數(shù)據(jù)流量較大、QPS較高的場(chǎng)景。例如今日頭條、抖音;
• QPS一直在上升，目前均值十幾萬;
• 已經(jīng)穩(wěn)定運(yùn)行近半年，做過一次擴(kuò)容。

典型OLTP+OLAP混合場(chǎng)景案例

易果集團(tuán)是一個(gè)典型的OLTP+OLAP混合場(chǎng)景的案例。在上線TiDB之前，易果集團(tuán)的實(shí)時(shí)系統(tǒng)已經(jīng)遇到了瓶頸：

• SQL Server當(dāng)數(shù)據(jù)量到達(dá)一定階段，性能出現(xiàn)拐點(diǎn)，彈性擴(kuò)展很難實(shí)現(xiàn);
• HDFS+Hive+Spark+Presto+Kylin方案在數(shù)據(jù)量增大的情況下，ETL越來越慢，很難滿足更復(fù)雜的OLAP需求，與此同時(shí)，業(yè)務(wù)對(duì)實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)的需求越來越強(qiáng)烈。

通過對(duì)Greenplum、Kudu、TiDB等多個(gè)方案的選型評(píng)估，最終易果集團(tuán)選擇了TiDB的方案：使用Flume、Syncer數(shù)據(jù)實(shí)時(shí)同步到TiDB，并使用TiSpark替換Hadoop進(jìn)行實(shí)時(shí)數(shù)倉業(yè)務(wù)。目前，在TiDB的支持下，易果集團(tuán)T+1數(shù)倉已升級(jí)為實(shí)時(shí)數(shù)倉，TiDB天然的滿足了數(shù)據(jù)量線性擴(kuò)展的問題，同時(shí)還節(jié)省了大量的運(yùn)維成本。TiDB作為一款HTAP數(shù)據(jù)庫，為易果集團(tuán)創(chuàng)建實(shí)時(shí)、統(tǒng)一的混合數(shù)據(jù)庫提供了可能。

基礎(chǔ)軟件選擇開源社區(qū)戰(zhàn)略更加適宜

最后，黃東旭表示，開源是一種非常先進(jìn)的軟件開發(fā)模式和推廣模式，對(duì)于基礎(chǔ)軟件來說，開源是一種很重要的手段。他引用了開源社區(qū)里流傳甚廣的一句話：只要眼睛足夠多，Bug無處藏。從這個(gè)邏輯的角度來看，對(duì)于基礎(chǔ)軟件來說，用戶越多，使用場(chǎng)景越多，見過的Workload越多，得到相應(yīng)的反饋越多，這些來自一線的反饋能夠更好的讓你看清方向和產(chǎn)品存在的缺陷，更快的迭代以達(dá)到更加完美的狀態(tài)，避免閉門造車;另外一方面，社區(qū)和生態(tài)會(huì)成為你最大的護(hù)城河，從而構(gòu)建真正的商業(yè)壁壘。黃東旭總結(jié)，PingCAP這幾年發(fā)展的如此之快，與他選擇了開源的戰(zhàn)略密不可分。

5月18-19日，北京•粵財(cái)JW萬豪酒店，全球最值得關(guān)注的IT技術(shù)盛宴與您不見不散。2018WOT全球軟件與運(yùn)維技術(shù)峰會(huì)一定是您發(fā)現(xiàn)全新思路、挖掘最新思想、拓展人脈的重要平臺(tái)。

目前我們的各項(xiàng)票種已全面發(fā)售。需要提醒您的是，購票越早，折扣越大!與KOL零距離交流，呈現(xiàn)不一樣的“英雄盛宴”!

點(diǎn)擊官網(wǎng)了解詳情：wot.51cto.com

9折預(yù)售中，搶票從速。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】