1. 程式人生 > >golang json 性能分析

golang json 性能分析

很好 解決 struct truct mar alc sha get .net

Json 作為一種重要的數據格式,具有良好的可讀性以及自描述性,廣泛地應用在各種數據傳輸場景中。Go 語言裏面原生支持了這種數據格式的序列化以及反序列化,內部使用反射機制實現,性能有點差,在高度依賴 json 解析的應用裏,往往會成為性能瓶頸,好在已有很多第三方庫幫我們解決了這個問題,但是這麽多庫,對於像我這種有選擇困難癥的人來說,到底要怎麽選擇呢,下面就給大家來一一分析一下

ffjson

go get -u github.com/pquerna/ffjson

原生的庫性能比較差的主要原因是使用了很多反射的機制,為了解決這個問題,ffjson 通過預編譯生成代碼,類型的判斷在預編譯階段已經確定,避免了在運行時的反射

但也因此在編譯前需要多一個步驟,需要先生成 ffjson 代碼,生成代碼只需要執行 ffjson <file.go> 就可以了,其中 file.go 是一個包含 json 結構體定義的 go 文件。註意這裏 ffjson 是這個庫提供的一個代碼生成工具,直接執行上面的 go get 會把這個工具安裝在 $GOPATH/bin 目錄下,把 $GOPATH/bin 加到 $PATH 環境變量裏面,可以全局訪問

另外,如果有些結構,不想讓 ffjson 生成代碼,可以通過增加註釋的方式

// ffjson: skip
type Foo struct {
   Bar string
}

// ffjson: nodecoder
type Foo struct {
   Bar string
}

easyjson

go get -u github.com/mailru/easyjson/...

easyjson 的思想和 ffjson 是一致的,都是增加一個預編譯的過程,預先生成對應結構的序列化反序列化代碼,除此之外,easyjson 還放棄了一些原生庫裏面支持的一些不必要的特性,比如:key 類型聲明,key 大小寫不敏感等等,以達到更高的性能

生成代碼執行 easyjson -all <file.go> 即可,如果不指定 -all 參數,只會對帶有 //easyjson:json 的結構生成代碼

//easyjson:json
type A struct {
    Bar string
}

jsoniter

go get -u github.com/json-iterator/go

這是一個很神奇的庫,滴滴開發的,不像 easyjson 和 ffjson 都使用了預編譯,而且 100% 兼容原生庫,但是性能超級好,也不知道怎麽實現的,如果有人知道的話,可以告訴我一下嗎?

使用上面,你只要把所有的

import "encoding/json"

替換成

import "github.com/json-iterator/go"

var json = jsoniter.ConfigCompatibleWithStandardLibrary

就可以了,其它都不需要動

codec-json

go get -u github.com/ugorji/go/codec

這個庫裏面其實包含很多內容,json 只是其中的一個功能,比較老,使用起來比較麻煩,性能也不是很好

jsonparser

go get -u github.com/buger/jsonparser

嚴格來說,這個庫不屬於 json 序列化的庫,只是提供了一些 json 解析的接口,使用的時候需要自己去設置結構裏面的值,事實上,每次調用都需要重新解析 json 對象,性能並不是很好

就像名字暗示的那樣,這個庫只是一個解析庫,並沒有序列化的接口

性能測試

對上面這些 json 庫,作了一些性能測試,測試代碼在:https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go,下面是在我的 Macbook 上測試的結果(實際結果和庫的版本以及機器環境有關,建議自己再測試一遍):

BenchmarkMarshalStdJson-4                    1000000          1097 ns/op
BenchmarkMarshalJsonIterator-4               2000000           781 ns/op
BenchmarkMarshalFfjson-4                     2000000           941 ns/op
BenchmarkMarshalEasyjson-4                   3000000           513 ns/op
BenchmarkMarshalCodecJson-4                  1000000          1074 ns/op
BenchmarkMarshalCodecJsonWithBufio-4         1000000          2161 ns/op
BenchmarkUnMarshalStdJson-4                   500000          2512 ns/op
BenchmarkUnMarshalJsonIterator-4             2000000           591 ns/op
BenchmarkUnMarshalFfjson-4                   1000000          1127 ns/op
BenchmarkUnMarshalEasyjson-4                 2000000           608 ns/op
BenchmarkUnMarshalCodecJson-4                  20000        122694 ns/op
BenchmarkUnMarshalCodecJsonWithBufio-4        500000          3417 ns/op
BenchmarkUnMarshalJsonparser-4               2000000           877 ns/op

技術分享圖片

從上面的結果可以看出來:

  1. easyjson 無論是序列化還是反序列化都是最優的,序列化提升了1倍,反序列化提升了3倍
  2. jsoniter 性能也很好,接近於easyjson,關鍵是沒有預編譯過程,100%兼容原生庫
  3. ffjson 的序列化提升並不明顯,反序列化提升了1倍
  4. codecjson 和原生庫相比,差不太多,甚至更差
  5. jsonparser 不太適合這樣的場景,性能提升並不明顯,而且沒有反序列化

所以綜合考慮,建議大家使用 jsoniter,如果追求極致的性能,考慮 easyjson

參考鏈接

ffjson: https://github.com/pquerna/ffjson
easyjson: https://github.com/mailru/easyjson
jsoniter: https://github.com/json-iterator/go
jsonparser: https://github.com/buger/jsonparser
codecjson: http://ugorji.net/blog/go-codec-primer

轉載請註明出處
本文鏈接:http://hatlonely.github.io/2018/01/28/golang-json-性能分析/

golang json 性能分析