R對MongoDB的性能測試——RMongo
在九月初的時(shí)候,RMongoDB正式發(fā)布了修訂版本,這也就意味著,從事數(shù)值計(jì)算的語言也可以于Nosql產(chǎn)品相接軌了,但是鑒于我身邊并沒有公司真的在使用R和MongoDB的結(jié)合,所以在效率問題上,我們也不敢掉以輕心,所以就做了一個(gè)這樣的測試。
測試環(huán)境是8核,64位機(jī)。 用于測試的庫是一個(gè)未經(jīng)Sharding,大概30G左右的Collection。用于存儲(chǔ)用戶的喜好信息,標(biāo)簽信息等數(shù)據(jù)。
- library(rmongodb)
- mongo <- mongo.create()
- if(mongo.is.connected(mongo))
- {
- ns <- 'rivendell.user'
- print('查詢一個(gè)沒有索引的字段,查詢一條')
- print(system.time(p <- mongo.find.one(mongo,ns,list(Friend=600))))
- print('查詢一個(gè)沒有索引的字段,多條,without buffer')
- print(system.time(p <- mongo.find(mongo,ns,list(Friend=600))))
- print('看看是否有緩存策略')
- print(system.time(p <- mongo.find(mongo,ns,list(Friend=600))))
- print('查詢一個(gè)沒有索引的字段,多條,has buffer')
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'Friend',600L)
- query <- mongo.bson.from.buffer(buf)
- print(system.time(p <- mongo.find(mongo,ns,query)))
- print('看看是否有緩存策略')
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'Friend',600L)
- query <- mongo.bson.from.buffer(buf)
- print(system.time(p <- mongo.find(mongo,ns,query)))
- print('大于的查詢,查詢一條記錄')
- print(system.time(p <- mongo.find.one(mongo,ns,list(Friend=list('$gt'=600L)))))
- print('大于的記錄,查詢多條記錄')
- print(system.time(cursor <- mongo.find(mongo,ns,list(Friend=list('$gt'=600L)))))
- mongo.cursor.destroy(cursor)
- print('查詢一條有索引的記錄')
- print(system.time(p <- mongo.find.one(mongo,ns,list('_id'=3831809L))))
- print('查詢索引的記錄')
- print(system.time(p <- mongo.find(mongo,ns,list('_id'=3831809L))))
- print('插入一條記錄')
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'name',"huangxin")
- mongo.bson.buffer.append(buf,'age',22L)
- p <- mongo.bson.from.buffer(buf)
- print(system.time(mongo.insert(mongo,ns,p)))
- print('找到剛剛插入的記錄')
- print(system.time(p <- mongo.find.one(mongo,ns,list('name'='huangxin'))))
- if(!is.null(p))
- {
- print('success')
- }
- print('批量插入')
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'name','huangxin')
- mongo.bson.buffer.append(buf,'age',22L)
- p1 <- mongo.bson.from.buffer(buf)
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'name','huangxin')
- mongo.bson.buffer.append(buf,'age',22L)
- p2 <- mongo.bson.from.buffer(buf)
- buf <- mongo.bson.buffer.create()
- mongo.bson.buffer.append(buf,'name','huangxin')
- mongo.bson.buffer.append(buf,'age',22L)
- p3 <- mongo.bson.from.buffer(buf)
- print(system.time(mongo.insert.batch(mongo,ns,list(p1,p2,p3))))
- print('找到剛剛批量插入的記錄')
- print(system.time(cursor <- mongo.find(mongo,ns,list('name'='huangxin'))))
- i <- 0
- while(mongo.cursor.next(cursor))
- {
- i <- i + 1
- }
- print(i)
- print('批量更新')
- print(system.time(mongo.update(mongo,ns,list(name='huangxin'),list('name'= 'kym'))))
- print('查看更新是否成功')
- print(system.time(p <- mongo.find.one(mongo,ns,list('name'='kym'))))
- if(!is.null(p))
- {
- print('success')
- }
- print('批量刪除')
- print(system.time(mongo.remove(mongo,ns,list(name='kym'))))
- }
- print(system.time(p <- mongo.find.one(mongo,ns,list('name'='kym'))))
- if(!is.null(p))
- {
- print('success')
- }
- [1] "查詢一個(gè)沒有索引的字段,查詢一條"
- user system elapsed
- 0.000 0.000 0.115
- [1] "查詢一個(gè)沒有索引的字段,多條,without buffer"
- user system elapsed
- 0.000 0.000 32.513
- [1] "看看是否有緩存策略"
- user system elapsed
- 0.000 0.000 32.528
- [1] "查詢一個(gè)沒有索引的字段,多條,has buffer"
- user system elapsed
- 0.000 0.000 32.685
- [1] "看看是否有緩存策略"
- user system elapsed
- 0.000 0.000 33.172
- [1] "大于的查詢,查詢一條記錄"
- user system elapsed
- 0.000 0.000 0.001
- [1] "大于的記錄,查詢多條記錄"
- user system elapsed
- 0.000 0.000 0.014
- [1] "查詢一條有索引的記錄"
- user system elapsed
- 0 0 0
- [1] "查詢索引的記錄"
- user system elapsed
- 0 0 0
- [1] "插入一條記錄"
- user system elapsed
- 0 0 0
- [1] "找到剛剛插入的記錄"
- user system elapsed
- 0.00 0.00 35.42
- [1] "success"
- [1] "批量插入"
- user system elapsed
- 0 0 0
- [1] "找到剛剛批量插入的記錄"
- user system elapsed
- 0.004 0.000 35.934
- [1] 7
- [1] "批量更新"
- user system elapsed
- 0.000 0.004 0.000
- [1] "查看更新是否成功"
- user system elapsed
- 0.000 0.000 67.773
- [1] "success"
- [1] "批量刪除"
- user system elapsed
- 0 0 0
- user system elapsed
- 0.000 0.000 91.396
之前我一直不太理解的就是為什么大于和等于,差距會(huì)差這么多。后來當(dāng)我在用Python去做同樣的測試的時(shí)候發(fā)現(xiàn),Python兩者的效率其實(shí)是相同的,所以這就證明了這個(gè)不是MongoDB的問題,而我不相信在數(shù)據(jù)庫層面,一個(gè)語言的Driver會(huì)有這么大的差別。
后來我發(fā)現(xiàn)了Python和R的關(guān)于MongoDB Driver的一個(gè)區(qū)別。首先,Python find的時(shí)候,不是將查詢到的數(shù)據(jù)集整體拉回,而是返回一個(gè)cursor,也就是說,他在執(zhí)行find命令的時(shí)候并不消耗時(shí)間,而如果加上while cursor.next()的時(shí)候,才會(huì)真正地去執(zhí)行這個(gè)查詢。
但是R不一樣,R會(huì)首先考慮數(shù)據(jù)集的大小(或者其他情況),然后視情況而定地返回cursor還是將整個(gè)數(shù)據(jù)集整體拉回。如果我們將之前的while mongo.cursor.next(cursor)也算在計(jì)算時(shí)間的時(shí)候,那么我們就會(huì)發(fā)現(xiàn),其實(shí)大于和等于的操作,效率相差并不明顯了.......
在實(shí)際操作中,批量插入是一個(gè)非常常見的應(yīng)用場景,但是對于R或者M(jìn)atlab語言來說,循環(huán)的效率一直是硬傷,所以接下來,我會(huì)嘗試著用apply系列來解決R語言的循環(huán)問題,如果實(shí)際操作發(fā)現(xiàn)可行,那么接下來使用mutilab等R的并行計(jì)算庫來充分發(fā)揮多核的效率也值得嘗試了!
原文鏈接:http://www.cnblogs.com/kym/archive/2011/09/26/2191501.html
【編輯推薦】