一、概述

Protocol Buffers 是 Google 公司開發的一種輕便高效的結構化數據存儲格式，可以用於結構化數據串行化，或者說序列化。它很適合做數據存儲或 RPC 數據交換格式。可用於通訊協議、數據存儲等領域的語言無關、平臺無關、可擴展的序列化結構數據格式。

Protocol Buffers 簡稱為 protobuf 或 pb，下面是使用 python 解析 pb。

二、安裝

1. 下載目標語言的編譯器：下載地址
2. 安裝：

$ ./configure  
$ make  
$ sudo make install 

1. 驗證安裝：protoc --version，顯示當前版本：libprotoc x.x.x
2. 安裝 Python 的 protobuf 庫：pip install protobuf

三、使用

3.1 編譯 proto 文件

Protobuf 語義清晰，無需類似 XML 解析器的東西（因為 Protobuf 編譯器會將 .proto 文件編譯生成對應的數據訪問類以對 Protobuf 數據進行序列化、反序列化操作）。

protoc --python_out=./ ./文件名.proto  

這時會在當前目錄生成一個與文件名同名的目錄，該目錄下會有一個 .py 文件。這個文件會用作模塊、解析規則去解析 pb 的源數據。

3.2 解析 pb 的數據

from test_pb import Test # 從剛才編譯出來的 py 文件中 import 解析的類
message = Test()
with open(‘test.pb‘, ‘rb‘) as fb:
    pb_content = fb.read() # 如果文件很大，則要分批讀取
    # pb_content 是二進制的pb數據，如果是文件，則需要用 open 方法讀取數據
    message.ParseFromString(pd_content)
print message
 

3.3 寫入數據

from test_pb import Test # 從剛才編譯出來的 py 文件中 import 解析的類
message = Test()
message.name = ‘hello world‘ # 賦值
with open(‘test.pb‘, ‘wb‘) as fb:
    # 序列化，寫入文件
    fb.write(person.SerializeToString())

3.4 probuf 轉 dict

當 probuf 的數據包含中文時，解析後對於閱讀十分不友好。同時如果想要把 probuf 對象轉化成 dict 進行後續操作的話。可以試試第三方庫：protobuf-to-dict，這個庫可以很方便的把 probuf 的數據轉化成 dict。示例代碼如下：

from protobuf_to_dict import protobuf_to_dict
my_message = MyMessage()
# pb_my_message is a protobuf string
my_message.ParseFromString(pb_my_message)
protobuf_to_dict(my_message)
# 輸出：{‘message‘: ‘Hello‘}

3.5 更多

這篇文章只是使用 python 簡單的解析、序列化。更多細節以及原理推薦閱讀Google Protocol Buffer 的使用和原理

四、錯誤

• google.protobuf.message.DecodeError: Truncated message.：首先要保證 pb source 為二進制的數據，否則會出現各種非預期錯誤

五、參考

• ProtoBuf 與 Python 結合使用初步

Python 轉化成 PB 格式數據