2. 程式人生 > >五、通過Protobuf整合Netty實現對協議訊息客戶端與伺服器通訊實戰

五、通過Protobuf整合Netty實現對協議訊息客戶端與伺服器通訊實戰

阿新 • • 發佈：2018-11-04

目錄

一、Protocol Buffers 是什麼？

二、Protocol Buffers 檔案和訊息詳解

三、專案實戰，直接掌握的protobuf應用。

一、Protocol Buffers 是什麼？

        1、官網翻譯之後如下：

               Protocol Buffers 是一種輕便高效的結構化資料儲存格式，可以用於結構化資料序列化，或者說序列化。它很適合做資料儲存或 RPC 資料交換格式。可用於通訊協議、資料儲存等領域的語言無關、平臺無關、可擴充套件的序列化結構資料格式。目前提供了 C++、Java、Python 三種語言的 API。

        2、RPC：Remote Procedure Call ,遠端過程呼叫，很多RPC框架是跨語言的。
             （1）、定義一個介面檔案：描述了物件（結構體）、物件成員，介面方法等一系列資訊。
             （2）、通過RPC框架所提供的編譯器，將介面說明檔案編譯成具體的語言檔案。
             （3）、在客戶端與伺服器端分別引入RPC編譯器所生產的檔案，即可像呼叫本地方法一樣呼叫遠端方法。

二、Protocol Buffers 檔案和訊息詳解

     1、安裝解壓配置環境，就直接省略了，太簡單了。

      2、my_example.proto 配置檔案詳解。 

syntax = "proto2";
//包名
package tutorial; 
//以下面包名為主，可以省略，如果省略以tutoria1為包名
option java_package = "com.example.tutorial";
//生成一個類名字，是public 的外部類的名字，如果不定義則會預設會取檔名字
//以駝峰的形式顯示出來MyExample作為類名。
option java_outer_classname = "AddressBookProtos";

//下面的類都是java_outer_classname的內部類
message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}

required:
必須提供欄位的值，否則訊息將被視為“未初始化”。嘗試構建一個未初始化的訊息將拋
出一個RuntimeException。解析未初始化的訊息將丟擲IOException。除此之外，
所需的欄位與可選欄位完全一樣。
ps:谷歌的一些工程師已經得出結論，使用required弊大於利;他們喜歡只使用可選的和重複的。
然而，這種觀點並不普遍。

optional:
該欄位可能也可能不設定。如果未設定可選欄位值，則使用預設值。對於簡單型別來說，
您可以指定自己的預設值，就像我們在例子中為電話號碼型別所做的那樣。否則，就會
使用系統預設值：數值型別為0，字串為空字串，bools為false。對於嵌入式訊息
來說，預設值始終是訊息的“預設例項”或“prototype”，它的欄位沒有設定。呼叫
accessor來獲取未顯式設定的可選（或必需）欄位的值總是返回該欄位的預設值。

repeated:
該欄位可以多次重複（包括零）。重複值的順序將保留在協議緩衝區中。把重複的欄位
看作是動態大小的陣列.

 

編譯.proto檔案
protoc --java_out= src/main/java(輸出路徑)  src/protobuf/TransData.proto(目標檔案)

 

三、專案實戰，直接掌握的protobuf應用。

專案總覽：

syntax = "proto2";

package com.zhurong.protobuf;

option optimize_for = SPEED;
option java_package = "com.zhurong.protobuf";
option java_outer_classname = "TransData";

message MessageIndex{
    enum MessageType{
        MessageBodyPartIndex1 = 1;
        MessageBodyPartIndex2 = 2;
        MessageBodyPartIndex3 = 3;
    }
    required MessageType message_type = 1;
    oneof messageBody{
        MessageBodyPart1 messageBodyPart1 = 2;
        MessageBodyPart2 messageBodyPart2 = 3;
        MessageBodyPart3 messageBodyPart3 = 4;
    }
}
message MessageBodyPart1 {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
 }

message MessageBodyPart2 {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
}

message MessageBodyPart3 {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
}

       

生成java類如下：

// Generated by the protocol buffer compiler.  DO NOT EDIT!
// source: src/protobuf/TransData.proto

package com.zhurong.protobuf.message;

public final class TransData {
  private TransData() {}
  public static void registerAllExtensions(
      com.google.protobuf.ExtensionRegistryLite registry) {
  }

  public static void registerAllExtensions(
      com.google.protobuf.ExtensionRegistry registry) {
    registerAllExtensions(
        (com.google.protobuf.ExtensionRegistryLite) registry);
  }
  public interface MessageIndexOrBuilder extends
      // @@protoc_insertion_point(interface_extends:com.zhurong.protobuf.MessageIndex)
      com.google.protobuf.MessageOrBuilder {

    /**
     * <code>required .com.zhurong.protobuf.MessageIndex.MessageType message_type = 1;</code>
     */
    boolean hasMessageType();
    /**
     * <code>required .com.zhurong.protobuf.MessageIndex.MessageType message_type = 1;</code>
     */
    TransData.MessageIndex.MessageType getMessageType();

    /**
     * <code>optional .com.zhurong.protobuf.MessageBodyPart1 messageBodyPart1 = 2;</code>
     */
    boolean hasMessageBodyPart1();
    /**
     * <code>optional .com.zhurong.protobuf.MessageBodyPart1 messageBodyPart1 = 2;</code>
     */
    TransData.MessageBodyPart1 getMessageBodyPart1();
    /**
     * <code>optional .com.zhurong.protobuf.MessageBodyPart1 messageBodyPart1 = 2;</code>
     */
    TransData.MessageBodyPart1OrBuilder getMessageBodyPart1OrBuilder();

  // @@protoc_insertion_point(outer_class_scope)

    .. .. ..  .  . . . . . .
    .. .. ..  .  . . . . . .
    .. .. ..  .  . . . . . .
    .. .. ..  .  . . . . . .
    .. .. ..  .  . . . . . .
       <省略>
}

伺服器端程式碼：

package com.zhurong.protobuf.server;

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioServerSocketChannel;
import io.netty.handler.logging.LogLevel;
import io.netty.handler.logging.LoggingHandler;

/**
 * Description:
 * User: zhurong
 * Date: 2018-09-24  23:17
 */
public class NettyServerProtoBuf {

    public static void main(String[] args) {
        //接收連線
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        //連線傳送給work
        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            System.out.println("伺服器啟動成功！");
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).
                    handler(new LoggingHandler(LogLevel.INFO)).
                    childHandler(new NettyServerProtobufInitializer());
            ChannelFuture channelFuture = serverBootstrap.bind(8000).sync();
            channelFuture.channel().closeFuture().sync();

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }

    }

}

package com.zhurong.protobuf.server;

import com.zhurong.protobuf.message.TransData;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.protobuf.ProtobufDecoder;
import io.netty.handler.codec.protobuf.ProtobufEncoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32FrameDecoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32LengthFieldPrepender;

/**
 * Description:
 * User: zhurong
 * Date: 2018-10-14  9:53
 */
public class NettyServerProtobufInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline channelPipeline = ch.pipeline();

        channelPipeline.addLast(new ProtobufVarint32FrameDecoder());
        channelPipeline.addLast(new ProtobufDecoder(TransData.MessageIndex.getDefaultInstance()));
        channelPipeline.addLast(new ProtobufVarint32LengthFieldPrepender());
        channelPipeline.addLast(new ProtobufEncoder());
        channelPipeline.addLast(new NettyServerProtoBufHandler());
    }
}

package com.zhurong.protobuf.server;

import com.zhurong.protobuf.message.TransData;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.concurrent.EventExecutorGroup;

/**
 * Description:
 * User: zhurong
 * Date: 2018-10-14  9:59
 */
public class NettyServerProtoBufHandler extends SimpleChannelInboundHandler<TransData.MessageIndex> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, TransData.MessageIndex msg) throws Exception {
        if((TransData.MessageIndex.MessageType)msg.getMessageType()
                == TransData.MessageIndex.MessageType.MessageBodyPartIndex1){
            System.out.println(msg.getMessageBodyPart1().getId());
            System.out.println(msg.getMessageBodyPart1().getName());
            System.out.println(msg.getMessageBodyPart1().getEmail());
        }

    }
}

 

客戶端程式碼：

package com.zhurong.protobuf.server;

import com.zhurong.protobuf.message.TransData;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.concurrent.EventExecutorGroup;

/**
 * Description:
 * User: zhurong
 * Date: 2018-10-14  9:59
 */
public class NettyServerProtoBufHandler extends SimpleChannelInboundHandler<TransData.MessageIndex> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, TransData.MessageIndex msg) throws Exception {
        if((TransData.MessageIndex.MessageType)msg.getMessageType()
                == TransData.MessageIndex.MessageType.MessageBodyPartIndex1){
            System.out.println(msg.getMessageBodyPart1().getId());
            System.out.println(msg.getMessageBodyPart1().getName());
            System.out.println(msg.getMessageBodyPart1().getEmail());
        }

    }
}


package com.zhurong.protobuf.client;

import com.zhurong.protobuf.message.TransData;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

/**
 * Description:
 * User: zhurong
 * Date: 2018-10-14  20:53
 */
public class NettyClientProtoBufHandler extends SimpleChannelInboundHandler<TransData.MessageIndex>{

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, TransData.MessageIndex msg) throws Exception {

    }

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {

        TransData.MessageIndex messageIndex = TransData.MessageIndex.newBuilder()
                .setMessageType(TransData.MessageIndex.MessageType.MessageBodyPartIndex1)
                .setMessageBodyPart1(TransData.MessageBodyPart1.newBuilder()
                .setId(11111).setEmail("23242343255").setName("jim").build())
                .build();

        ctx.channel().writeAndFlush(messageIndex);
    }
}

package com.zhurong.protobuf.client;

import com.zhurong.protobuf.message.TransData;
import com.zhurong.protobuf.server.NettyServerProtoBufHandler;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.protobuf.ProtobufDecoder;
import io.netty.handler.codec.protobuf.ProtobufEncoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32FrameDecoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32LengthFieldPrepender;

/**
 *  Netstat –ano|findstr
 * Description: 客戶端與伺服器端連線一旦建立，這個類中方法就會被回撥
 * User: zhurong
 * Date: 2018-09-24  21:29
 */
public class NettyClientProtoBufInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline channelPipeline = ch.pipeline();

        channelPipeline.addLast(new ProtobufVarint32FrameDecoder());
        channelPipeline.addLast(new ProtobufDecoder(TransData.MessageIndex.getDefaultInstance()));
        channelPipeline.addLast(new ProtobufVarint32LengthFieldPrepender());
        channelPipeline.addLast(new ProtobufEncoder());
        channelPipeline.addLast(new NettyClientProtoBufHandler());
    }
}

多協議訊息解決方法就是在訊息最前面加一個標識，告訴伺服器這個哪一個訊息體，當然這個是屬於自定義編解碼格式。

上面我只是寫了一個分支，完整的是後面2個body訊息體，都應該加上去放在else if裡面。此處就不過多講解了。到這裡protobuf使用，應該是掌握了吧！

 

 

 

 

 

 

 

 

 

 

 

 

相關推薦

五、通過Protobuf整合Netty實現對協議訊息客戶端與伺服器通訊實戰

目錄 一、Protocol Buffers 是什麼？ 二、Protocol Buffers 檔案和訊息詳解 三、專案實戰，直接掌握的protobuf應用。 一、Protocol Buffers 是什麼？         1、官網翻譯

實現PHP伺服器+Android客戶端（Retrofit+RxJava）第四天客戶端與伺服器通訊的實現

我的上一篇文章已經介紹了retrofit+rxjava的配置（包括快取），從這一篇開始就開始講我要實現的這個app網路請求部分的構思，也就是要請求那些資料，資料的型別等等。 我要實現的客戶端 看圖： 看了介面基本應該能知道要實現的效果了

Netty實戰（1）使用Netty搭建一個簡單的客戶端與伺服器的互動Demo

       Netty 是一個基於 JAVA NIO 類庫的非同步通訊框架，它的架構特點是：非同步非阻塞、基於事件驅動、高效能、高可靠性和高可定製性。換句話說，Netty是一個NIO框架，使用它可以簡單快速地開發網路應用程式，比如客戶端和服務端的協議。Netty大大簡化了網

linux下socket程式設計 select實現非阻塞模式多臺客戶端與伺服器通訊

select函式原型如下： int select (int maxfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); select系統呼叫是用來讓我們的程式

Netty簡單示例----客戶端與伺服器通訊

本例實現功能為客戶端獲取伺服器的時間並顯示，參考《Netty權威指南》一書，不過書中使用Netty5實現的，考慮到Netty已經下架5，本例子使用Netty4.1.6版本。 首先伺服器端，包括TimeServer、TimeServerHandler兩個類：

Onvif客戶端與伺服器通訊時鑑權的自實現

OnvifDigest.h /** SHA1 digest size in octets */ #define SOAP_SMD_SHA1_SIZE (20) /** Size of the random nonce */ #define SOAP_WSSE_NONCELEN (20) #define

基於TCP協議實現Linux下客戶端與伺服器之間的通訊，實現多執行緒、多程序伺服器

TCP是TCP/IP協議族中一個比較重要的協議，這是一種可靠、建立連結、面向位元組流的傳輸，工作在傳輸層。和TCP相對的不可靠、無連結、面向資料報的協議UDP，瞭解UDP客戶端與伺服器之間通訊請戳UDP協議實現的伺服器與客戶端通訊 TCP協議建立連線 首

SWUST--Java實驗(七) 客戶端與伺服器聊天實現

import java.awt.BorderLayout; import java.awt.EventQueue; import javax.swing.JFrame; import javax.swing.JPanel; import javax.swing.border.EmptyBorde

java利用socket實現客戶端與伺服器的連線與資料傳遞

網路上的兩個程式通過一個雙向的通訊連線實現資料的交換，這個雙向鏈路的一端稱為一個 socket。socket 也就是套接字，可以用來實現不同虛擬機器或者不同計算機之間的通訊。在 Java 語言中，socket 可以分為兩種型別：面向連線的 socket 通訊協議（TCP）和麵向無連線的 socket

客戶端與伺服器之間分別通過TCP和UDP進行通訊

一：TCP/IP協議的應用一般採用客戶/伺服器模式，因此在實際應用中，必須有客戶和伺服器兩個程序，並且首先啟動伺服器，其系統呼叫時序圖如下。面向連線的協議（如TCP）的套接字系統呼叫如圖2.1所示： 注意：伺服器必須首先啟動，直到它執行完accept()呼叫，進入等待狀態後

Android 客戶端與伺服器端進行資料互動（一、登入伺服器端）

概要 安卓APP要實現很多功能（比如登入註冊、發表評論等）時都必須要使用到網路資料互動。所以在學習了這部分內容後，就將其以最常見的登入過程為例整理出來，也方便跟我一樣的新手能迅速學習上手。 預期效果圖如下，輸入手機號和密碼，點選Login按鈕，上傳資料到伺

利用Python中SocketServer 實現客戶端與伺服器間非阻塞通訊

利用SocketServer模組來實現網路客戶端與伺服器併發連線非阻塞通訊。 首先，先了解下SocketServer模組中可供使用的類： BaseServer：包含伺服器的核心功能與混合（mix-in）類掛鉤；這個類只用於派生，所以不會生成這個類的例項；可以考慮使用TCPS

linux下socket實現多個客戶端與伺服器的通訊

學習完《UNIX環境高階程式設計》套接字一章的內容之後，自己實現了單個客戶端與伺服器的通訊程式，後面想想要是多個客戶端如何與伺服器通訊呢？這就有了這篇文章。 伺服器端程式： #include<stdio.h> #include <stdlib.h&g

SVN：客戶端與伺服器端安裝、配置與使用

SVN（SUBVERSION） 前言： SVN是Subversion的簡稱，是一個開放原始碼的版本控制系統，說得簡單一點SVN就是用於多個人共同開發同一個專案，共用資源的目的。類似的工具號有git（github是其應用）。 環境：ubuntu 16.4 客戶端：w

Android 客戶端與伺服器端進行資料互動（二、登入客戶端）

概要 Android客戶端分為User，HttpUtil，HttpCallbackListener，MainActivity四個部分。User model與服務端的一樣，一方面是用於本地使用者資訊的儲存model，另一方面也是為了保證構造URL時使用的key一

Linux客戶端與伺服器相互實現聊天功能

這個實現方法只能夠單執行緒聊天，recv是阻塞的，你發一句我回一句，必須一來一回，後文會記錄多執行緒實現聊天 客戶端程式碼如下 #include <stdio.h> #include <stdlib.h> #include <string.h

Java NIO學習筆記(四) 使用JDK 1.7 NIO2.0 實現客戶端與伺服器的通訊

JDK1.7 提供了全新的非同步NIO模式。稱為：NIO2.0或AIO。該模式引入了新的非同步通道的概念，並提供了非同步檔案通道和非同步套接字通道的實現。非同步通道提供兩種方式獲取獲取操作結果。分別是： 通過java.util.concurrent

2017.8.22 用python實現簡單基於TCP/IP的客戶端與伺服器端

伺服器端 import socket serversocket=socket.socket(socket.AF_INET,socket.SOCK_STREAM) serversocket.bind((

極光推送JPush客戶端與伺服器端的整合

一、應用場景     有些情況下，我們專案的伺服器端需要“自己”擁有推送訊息到手機客戶端的能力，比如，一些商家端的APP應用，當用戶下單後，我們的後臺系統需要即時的通知到商家APP端，這就要求我們的後臺系統擁有推送功能。最經濟便捷的一種方式就是伺服器端整合一套第三方的推

Qt實現客戶端與伺服器訊息傳送與檔案傳輸

客戶端與伺服器之間的資料傳送在很多案例場景裡都會有應用。這裡Jungle用Qt來簡單設計實現一個場景，即： ①兩端：伺服器QtServer和客戶端QtClient ②功能：服務端連線客戶端，兩者能夠互相傳送訊息，傳送檔案，並且顯示檔案傳送進度。 環境：VS