網上有很多教程，基本都是c++的，很多還解釋的不夠清楚，新手沒辦法通過文章自己實現一個完整的rpc，而且很少有python的完整教程，
所以我從頭用一個完整的echo server demo來講解protobuf rpc的基本原理。


protobuf rpc echo demo 原始碼：

github: https://github.com/majianfei/protobuf-rpc-echo

不瞭解protobuf怎麼安裝及protobuf的基礎語法，可以網上檢視教程。我就不多說了。


首先 protobuf rpc幫我們做了什麼：
google protobuf只負責訊息的打包和解包，並不包含RPC的實現，但其包含了RPC的定義。也不包括通訊機制。
所以我們要自己實現通訊機制。


首先我們定義：game_service.proto:

option py_generic_services = true;

message RequestMessage
{
    required string msg = 1;
}

message ResponseMessage
{
    required string msg = 1;
}

service IEchoService
{
    rpc echo(RequestMessage) returns(ResponseMessage);
}

使用 proto --cpp_out=. game_service.proto
會生成 game_service_pb2.py的檔案，裡面會有兩個類，一個 IEchoService，一個IEchoService_stub繼承自IEchoService
這兩個有什麼區別的，一般來說：IEchoService_stub,作為呼叫方，IEchoService作為被呼叫方。(假設我們做單向通訊，客戶端->伺服器)
當呼叫方呼叫echo時，自動通過protobuf rpc傳輸到被呼叫方，呼叫被呼叫方的echo處理邏輯。


過程是這樣的：
1.被呼叫方主動呼叫echo傳送message資料。
2.protobuf rpc會自動呼叫rpc_channel的CallMethod方法。
3.CallMethod呼叫具體的通訊過程傳送資料。(需要我們實現CallMethod和通訊過程)
注：通訊過程我們要自己實現，這也是protobuf設計的初衷，在最多變的部分（多種多樣的網路結構、協議和通訊機制）留出足夠的空間讓程式設計師可以針對特定場景自己實現，使得protobuf可以應用在更多的場景。
4.被呼叫方讀到資料
5.資料通過protobuf的定義解析成message格式(自己實現)
6.找到指定IEchoService的echo
7.我們在echo裡面實現我們的邏輯就好了。


一般而言，會把rpc的客戶端->伺服器->客戶端變成兩個單獨的過程。

option py_generic_services = true;

message Void {}

message RequestMessage
{
    required string msg = 1;
}

message ResponseMessage
{
    required string msg = 1;
}

//客戶端發給伺服器
service IEchoService
{
    rpc echo(RequestMessage) returns(Void);
}

//伺服器發給客戶端
service IEchoClient
{
    rpc echo_reply(ResponseMessage) returns(Void);
}
 

實現通訊層
最簡單的，我們使用python的asyncore來實現一個簡單的通訊層。
包括 TcpConnection，TcpServer，TcpClient,這應該很簡單就能理解,具體可以看github上的原始碼。

RPC客戶端需要實現google.protobuf.RpcChannel。主要實現RpcChannel.CallMethod介面。客戶端呼叫任何一個RPC介面，最終都是呼叫到CallMethod。這個函式的典型實現就是將RPC呼叫引數序列化，然後投遞給網路模組進行傳送。

def CallMethod(self, method_descriptor, rpc_controller,
			 request, response_class, done):
	index = method_descriptor.index
	data = request.SerializeToString()
	total_len = len(data) + 6
	self.logger.debug("CallMethod:%d,%d"%(total_len,index))
	
	self.conn.send_data(''.join([struct.pack('!ih', total_len, index), data]))

無論是呼叫端還是被呼叫端，一個method_descriptor在其所在Service內的index是一致的。因此method_descriptor的部分只需要對其index進行序列化即可。
RPC呼叫的引數可以直接使用protobuf的SerializeToString()方法進行序列化，進而在接收端通過ParseFromString()方法反序列化。


protobuf的service API在被呼叫端為我們完成的工作是，當使用合適的method_descriptor和request引數呼叫IEchoService.CallMethod()時，會自動呼叫我們對相應方法介面的具體實現。因此在服務端需要做的工作主要由：


接受呼叫端發來的資料。
對接收到的資料包進行反序列化，解析得到method_descriptor和request引數。
呼叫EchoService.CallMethod()。

def input_data(self, data):
	total_len, index = struct.unpack('!ih', data[0:6])
	self.logger.debug("input_data:%d,%d" % (total_len, index))
	rpc_service = self.rpc_service
	s_descriptor = rpc_service.GetDescriptor()
	method = s_descriptor.methods[index]
	try:
		request = rpc_service.GetRequestClass(method)()
		serialized = data[6:total_len]
		request.ParseFromString(serialized)
		
		rpc_service.CallMethod(method, self.rpc_controller, request, None)
		
	except Exception, e:
		self.logger.error("Call rpc method failed!")
		print "error:",e
		self.logger.log_last_except()
	return True

服務端實現RPC介面，繼承自IEchoService。

# 被呼叫方的Service要自己實現具體的rpc處理邏輯
class MyEchoService(IEchoService):
	
	def echo(self, controller, request, done):
		
		rpc_channel = controller.rpc_channel
		msg = request.msg
		
		response = ResponseMessage()
		response.msg = "echo:"+msg
		
		print "response.msg", response.msg
		
		# 此時，伺服器是呼叫方，就呼叫stub.rpc，客戶端時被呼叫方,實現rpc方法。
		client_stub = IEchoClient_Stub(rpc_channel)
		client_stub.echo_reply(controller, response, None)

整個流程就清晰了，
1.實現RpcChannel，主要實現CallMethod使用底層通訊機制(TcpConnection) 把序列化後的資料傳送出去，當服務端TcpConnection收到包之後，反序列化(input_data)


我們要繼承 EchoService 並實現echo，當客戶端呼叫EchoService_stub.echo時，會呼叫RpcChannel的CallMethod傳送出去，然後接收方TpcConnection.hand_read呼叫rpc_channel的input_data,我們實現反序列化過程，再呼叫EchoService
的CallMethod，protobuf會自動呼叫我們實現的echo方法，然後伺服器回訊息到客戶端時，呼叫方跟被呼叫方就反過來了。我們呼叫方(伺服器)使用stub.echo_reply走原來的流程，到客戶端(被呼叫方)，實現echo_reply處理邏輯。


有興趣可以看看github上的原始碼。
更有興趣的可以使用protobuf rpc實現一個完整的rpc server，我個人暫時就不完善了。


我目前在實現分散式伺服器架構，底層使用libev網路庫，然後使用c++封裝buffer資料解析，然後邏輯執行緒使用python實現，c++把tcp stream資料解析成完整的packet之後丟到message_queue然後邏輯執行緒讀到資料丟給python處理。使用protobuf rpc。
目前還在開發階段。歡迎有興趣的來討論。