Python中值得學(xué)習(xí)的第三方JSON庫(kù)
我們?cè)谌粘J褂肞ython的過(guò)程中,經(jīng)常會(huì)使用json格式存儲(chǔ)一些數(shù)據(jù),尤其是在web開(kāi)發(fā)中。而Python原生的json庫(kù)性能差、功能少,只能堪堪應(yīng)對(duì)簡(jiǎn)單輕量的json數(shù)據(jù)存儲(chǔ)轉(zhuǎn)換需求。
而本文我要給大家介紹的第三方j(luò)son庫(kù)orjson,在公開(kāi)的各項(xiàng)基準(zhǔn)性能測(cè)試中,以數(shù)倍至數(shù)十倍的性能優(yōu)勢(shì)碾壓json、ujson、rapidjson、simplejson等其他Python庫(kù),且具有諸多額外功能,下面我們就來(lái)領(lǐng)略其常用方法吧~
orjson常用方法
orjson支持3.7到3.10所有版本64位的Python,本文演示對(duì)應(yīng)的orjson的版本為3.7.0,直接使用pip install -U orjson即可完成安裝。下面我們來(lái)對(duì)orjson中的常用方法進(jìn)行演示:
1. 序列化
與原生json庫(kù)類似,我們可以使用orjson.dumps()將Python對(duì)象序列化為JSON數(shù)據(jù),注意,略有不同的是,orjson序列化的結(jié)果并不是str型而是bytes型,在下面的例子中,我們對(duì)包含一千萬(wàn)個(gè)簡(jiǎn)單字典元素的列表進(jìn)行序列化,orjson與json庫(kù)的耗時(shí)比較如下:
2. 反序列化
將JSON數(shù)據(jù)轉(zhuǎn)換為Python對(duì)象的過(guò)程我們稱之為反序列化,使用orjson.loads()進(jìn)行操作,可接受bytes、str型等常見(jiàn)類型,在前面例子的基礎(chǔ)上我們添加反序列化的例子:
3. 豐富的option選項(xiàng)
在orjson的序列化操作中,可以通過(guò)參數(shù)option來(lái)配置諸多額外功能,常用的有:
(1) OPT_INDENT_2
通過(guò)配置option=orjson.OPT_INDENT_2,我們可以為序列化后的JSON結(jié)果添加2個(gè)空格的縮進(jìn)美化效果,從而彌補(bǔ)其沒(méi)有參數(shù)indent的不足:
(2) OPT_OMIT_MICROSECONDS
orjson.dumps()可以直接將Python中datetime、time等標(biāo)準(zhǔn)庫(kù)中的日期時(shí)間對(duì)象轉(zhuǎn)換成相應(yīng)的字符串,這是原生json庫(kù)做不到的,而通過(guò)配置option=orjson.OPT_OMIT_MICROSECONDS,可以將轉(zhuǎn)換結(jié)果后綴的毫秒部分省略掉:
(3) OPT_NON_STR_KEYS
當(dāng)需要序列化的對(duì)象存在非數(shù)值型鍵時(shí),orjson默認(rèn)會(huì)拋出TypeError錯(cuò)誤,這時(shí)需要配置option=orjson.OPT_NON_STR_KEYS來(lái)強(qiáng)制將這些鍵轉(zhuǎn)換為字符型:
(4) OPT_SERIALIZE_NUMPY
orjson的一大重要特性是其可以將包含numpy中數(shù)據(jù)結(jié)構(gòu)對(duì)象的復(fù)雜對(duì)象,兼容性地轉(zhuǎn)換為JSON中的數(shù)組,配合option=orjson.OPT_SERIALIZE_NUMPY即可:
(5) OPT_SERIALIZE_UUID
除了可以自動(dòng)序列化numpy對(duì)象外,orjson還支持對(duì)UUID對(duì)象進(jìn)行轉(zhuǎn)換,在orjson 3.0之前的版本中,需要配合option=orjson.OPT_SERIALIZE_UUID,而本文演示的3.X版本則無(wú)需額外配置參數(shù):
(6) OPT_SORT_KEYS
通過(guò)配合參數(shù)option=orjson.OPT_SORT_KEYS,可以對(duì)序列化后的結(jié)果自動(dòng)按照鍵進(jìn)行排序:
(7) 組合多種option
當(dāng)你的序列化操作需要涉及多種option功能時(shí),則可以使用|運(yùn)算符來(lái)組合多個(gè)option參數(shù)即可:
4. 針對(duì)dataclass、datetime添加自定義處理策略
當(dāng)你需要序列化的對(duì)象中涉及到dataclass自定義數(shù)據(jù)結(jié)構(gòu)時(shí),可以配合orjson.OPT_PASSTHROUGH_DATACLASS,再通過(guò)對(duì)default參數(shù)傳入自定義處理函數(shù),來(lái)實(shí)現(xiàn)更為自由的數(shù)據(jù)轉(zhuǎn)換邏輯,譬如下面簡(jiǎn)單的例子中,我們可以利用此特性進(jìn)行原始數(shù)據(jù)的脫敏操作:
類似的,針對(duì)datetime類型數(shù)據(jù),我們同樣可以配合OPT_PASSTHROUGH_DATETIME和自定義default函數(shù)實(shí)現(xiàn)日期自定義格式化轉(zhuǎn)換:
orjson更多特性可前往官方倉(cāng)庫(kù)https://github.com/ijl/orjson了解更多.