幾個秒殺 Go 官方庫的第三方開源庫
本文轉載自微信公眾號「Golang技術分享」,作者機器鈴砍菜刀。轉載本文請聯系Golang技術分享公眾號。
Go 語言官方庫給我們一貫的印象是:強大、好用。但是,金無足赤,人無完人,在一些性能要求苛刻的場景例如 json 解析,某些官方庫的表現不盡如人意。
本文介紹幾個對標官方庫的開源庫,它們的性能遠超前者。當讀者在使用這些官方庫遇到性能問題時,可以嘗試替換優化。
net/http -> fasthttp
地址:https://github.com/valyala/fasthttp
fasthttp號稱比net/http快十倍,其優化的核心思路很簡單:資源復用。
- 復用 goroutine,減輕 runtime 調度壓力;
- 對象復用,大量使用 sync.Pool 減輕 GC 壓力。
除了復用,還有其他的一些優化手段,例如盡量避免 string 與 []byte 的轉換開銷等。
這些優化技巧和最佳實踐,在其 Github 主頁上已經貼心給出:https://github.com/valyala/fasthttp#fasthttp-best-practices,建議閱讀學習。
因為fasthttp的實現與標準庫差距較大,所以它與net/http的 API 接口是不同的,這導致從net/http重構為fasthttp需要一些學習成本。
使用fasthttp的知名項目:Fiber、Gearbox、atreugo 等。
encoding/json -> jsoniter
地址:https://github.com/json-iterator/go
jsoniter(json-iterator)是一款快且靈活的 JSON 解析器,同時提供 Java 和 Go 兩個版本。官方稱 Golang 版本可以比標準庫(encoding/json)快 6 倍之多。
最重要的是,它與標準庫encoding/json完全兼容。
- Marshal()
- # encoding/json
- import "encoding/json"
- json.Marshal(&data)
- # jsoniter
- import jsoniter "github.com/json-iterator/go"
- var json = jsoniter.ConfigCompatibleWithStandardLibrary
- json.Marshal(&data)
- Unmarshal()
- # encoding/json
- import "encoding/json"
- json.Unmarshal(input, &data)
- # jsoniter
- import jsoniter "github.com/json-iterator/go"
- var json = jsoniter.ConfigCompatibleWithStandardLibrary
- json.Unmarshal(input, &data)
對其優化原理感興趣的讀者可以看這里:http://jsoniter.com/benchmark.html#optimization-used
golang/protobuf -> gogo/protobuf
地址:https://github.com/gogo/protobuf
ProtoBuf 的全稱是 Protocol Buffers,它是由 Google 開發和定義的與 XML、JSON 類似的一種協議格式,用于高效存儲與讀取結構化數據。它基于二進制,因此使用 ProtoBuf 能將數據壓縮得更小。
gogo/protobuf是基于官方庫golang/protobuf的增強版實現:
- 比golang/protobuf更快地序列化與反序列化;
- 更規范的 Go 結構;
- 兼容golang/protobuf;
- 可選地生成額外的幫助代碼,減少代碼輸入;
- 可以生成測試代碼和 benchmark 代碼;
- 其他序列化格式;
有很多知名項目都在使用該庫,例如 etcd、k8s、docker swarmkit、tidb、nakama 等。
html/template -> valyala/quicktemplate
地址:https://github.com/valyala/quicktemplate
quicktemplate啟發自 Python 的 Mako 項目,是一個快速、強大且易于使用的 Go 模板渲染引擎,它的主要特性如下:
- quicktemplate會先將編寫的模板代碼轉換為 Go 語言代碼,再進行編譯渲染。因此,它比標準庫html/template快 20 倍以上。
- quicktemplate的語法與 Go 語法非常類似,幾乎沒有學習成本。
- 幾乎所有的 bug 都能在模板編譯時被捕獲,因此在實際項目中,很少會有受模板相關的bug影響。
- 模板中可以嵌入任意 Go 代碼。
雖然quicktemplate的主要目的是生成 HTML,但它也可用于生成其他數據。
例如,使用quicktemplate可以輕松實現 JSON 和 XML 序列化,并且通過quicktemplate的序列化通常也會比通過標準庫encoding/json與encoding/xml更快。
總結
本文列出這幾個庫并不是讓你去立刻替換官方庫。例如net/http包,實際上它已經可以滿足大多數使用場景。
在使用官方庫時遇到了問題,我們很容易通過搜索引擎找到解決方案,或者直接向 Go 官方提 issue 。當切換為開源庫時,如果遇到了問題,并不一定能及時得到處理。
官方庫的 API 幾乎可以保證能與 Go 版本的迭代一直兼容,而三方庫可能存在潛在的版本兼容問題,這也是切換時需要考慮的問題。
本文列出來的幾個開源庫,它們的重點都是優化對應官方庫的性能問題。我們可以從這些開源庫中,學到很多實用的 Go 代碼優化技巧。
當然,如果你的項目中因為這些官方庫而導致了性能問題,不妨一試。