有問題可以聯絡我[email protected]

    因為開發資料庫叢集，節點需要通訊，必須構建基於socket的C++網路通訊系統。多年前使用UPD寫過P2P流媒體，但是現在需要TPC，首先使用了Nanomsg作為網路庫，但是開發過程中發現其不靠譜（模式太單一，並且出了問題根本找不到解決辦法）。於是又掉頭回來使用原生的socket程式設計。發現目前比較流行的（C++）網路程式設計使用libevent或者libev，通過調研感覺libevent成熟一些，於是選擇了libevent。

    下面說一下在我們資料庫叢集中對網路通訊的使用模式：

1. 每個節點既是客戶端又是伺服器

2. 每個節點互相簡歷長連線（短連線的話，每次通訊都要建立連線代價太高）

3. 節點之間傳送訊息使用rpc方式，因此選用了google的protobuf

4. 多執行緒服務模式，即每個訊息都由不同的執行緒處理，這樣複雜的訊息也不會阻塞後面的訊息。

    綜上，我使用的是libevent+protobuf+pthread。libevent可以構建基於回撥函式的socket網路庫，protobuf提供rpc，pthread和libevent一起工作提供多執行緒方式。也可以使用std::thread，但是libevent預設支援的是pthread，你也可以在libevent中實現支援std::thread的函式，但是保險期間我還是用了pthread。下面舉個具體的例子來說一下工作流程：

例如叢集有10個節點，每一個節點都會和其他9個節點進行長連線，即每個節點都由9個socket，對應libevent有9個bufferevent，這9個bufferevent放入到一個eventbase裡由主執行緒進行dispatch。每個bufferevent都有一個readcaback函式，主要這個bufferevent有訊息到達，readcallback 就會被觸發讀取相應的訊息，在read callback中把該訊息丟到執行緒池中去處理：

    執行緒池會分配一個執行緒解析訊息內容，然後呼叫protobuf的rpc方法，rpc方法處理完會產生一個response訊息，該執行緒再把該response訊息傳送回去。

    客戶端接收到response會觸發read callback，因為客戶端實際上也是服務端，所以處理流程也是一樣的，read callback會把response訊息丟給執行緒池，執行緒池在呼叫一個執行緒處理該response。