五分鐘快速實現(xiàn)leveldb中數(shù)據(jù)的高可靠
眾所周知，leveldb是Google的Sanjay Ghemawat和Jeff Dean兩位大神編寫的一個高性能KV引擎，使用起來非常方便。然而，開源版本的leveldb將所有數(shù)據(jù)存放在了本地磁盤，如果本地磁盤發(fā)生故障，可能導(dǎo)致部分甚至全部數(shù)據(jù)丟失(例如MANIFEST丟失)，這對于使用者來說無疑會帶來災(zāi)難性的后果。在這時，數(shù)據(jù)的高可靠便成為了一個至關(guān)重要的問題，本篇博文將帶你五分鐘快速實現(xiàn)leveldb中數(shù)據(jù)存儲的高可靠。
百度開源的分布式文件系統(tǒng)BFS(開源地址:https://github.com/baidu/bfs)提供了mount工具，可以將整個分布式文件系統(tǒng)直接掛載到本地目錄，從而可以像操作本地文件一樣來操作分布式文件系統(tǒng)中的文件，我們可以利用分布式文件系統(tǒng)本身提供的數(shù)據(jù)高可靠特性來保證leveldb中數(shù)據(jù)的安全。
1. 首先下載BFS源碼
- git clone git@github.com:baidu/bfs.git
2. 然后編譯所需要的二進(jìn)制文件
- cd bfs; make && make bfs_mount
編譯完成后，會在當(dāng)前目錄下生成啟動BFS所需要的nameserver、chunkserver二進(jìn)制，以及掛載工具bfs_mount
3. 啟動BFS集群(本地模擬分布式環(huán)境)
- cd sandbox; ./depoly.sh; ./start_bfs.sh
執(zhí)行成功后，會在本地啟動一個包含一個Nameserver，4個Chunkserver的小集群，其中Nameserver占用的端口為8827
4. 將BFS集群掛載到本地
- cd ../; mkdir bfs_dir; nohup ./bfs_mount -d ./bfs_dir -c localhost:8827 -p / 1>fuse_mount.log 2>&1 &
其中，-d表示輸出debug日志，./bfs_dir表示將BFS掛載到本地的bfs_dir目錄下，-c localhost:8827指明了BFS集群的地址，上一步中的start_bfs.sh會在本地的8827端口啟動BFS的Nameserver，-p /指定將BFS的根目錄進(jìn)行掛載
至此，與BFS所做的相關(guān)準(zhǔn)備工作已經(jīng)全部完成~
接下來，可以將自己程序中l(wèi)eveldb的數(shù)據(jù)寫到BFS中，如果有不熟悉leveldb的同學(xué)，可以參考下面的使用示例：
- #include <stdio.h>
- #include <leveldb/db.h>
- int main()
- {
- leveldb::DB* db_;
- leveldb::Options options;
- options.create_if_missing = true;
- leveldb::Status s = leveldb::DB::Open(options, "./bfs_dir/ldb_data/", &db_);
- if (!s.ok()) {
- printf("Open db fail\n");
- return -1;
- }
- std::string test_key("hello"), test_value("world");
- s = db_->Put(leveldb::WriteOptions(), test_key, test_value);
- if (!s.ok()) {
- printf("Write db fail\n");
- return -1;
- }
- return 0;
- }
到這里是不是有點(diǎn)小激動?即使本地磁盤掛掉，BFS自動會進(jìn)行副本恢復(fù)，保證數(shù)據(jù)不丟失。
更重要的是，只要在其它機(jī)器上同樣掛載BFS相應(yīng)目錄，便可以不需要任何代價的，在另外的機(jī)器上對同樣一個leveldb進(jìn)行操作。(鑒于同一個leveldb同一時刻只允許被一個進(jìn)程打開，前提需要此機(jī)器已經(jīng)正確的將自己打開的leveldb關(guān)閉)這樣，就相當(dāng)于數(shù)據(jù)毫無代價的從一臺機(jī)器『遷移』到了另外一臺機(jī)器，是不是很炫酷?可能有些同學(xué)發(fā)現(xiàn)了什么：對，其實BigTable的模型正是如此~ 如果有希望繼續(xù)深入了解的同學(xué)，可以移步百度開源的，目前已經(jīng)存儲了萬億級別網(wǎng)頁數(shù)據(jù)的分布式數(shù)據(jù)庫Tera(開源地址:http://github.com/baidu/tera)，正是通過類似的原理，在保證數(shù)據(jù)安全的情況下，可以實現(xiàn)快速的負(fù)載均衡，分裂合并等特性。
