1. 程式人生 > >protobuf + maven 爬坑記

protobuf + maven 爬坑記

瘋狂創客圈 死磕Netty 億級流量架構系列之20

部落格園 總入口

本文說明

本篇是 netty+Protobuf 整合實戰的 第一篇,完成一個 基於Netty + Protobuf 實戰案例。

要實現高併發、大流量,首先需要高傳輸效率的協議,Protobuf 是迄今為止最高效能之一的傳輸格式,我們首先將 Protobuf 和Netty整合起來。

本案例原始碼

原始碼下載連結: netty+protobuf (整合原始碼)

1.1. protobuf 程式碼生成

在建立好.proto協議檔案之後,就需要按照好了對應版本的 protoc.exe工具protoc.exe工具**是生成Java檔案的工具軟體。 安裝的方法,前面已經講了。

這裡需要提示一下版本。Java 的maven 配置檔案中 proto 包的版本,和 .proto檔案的版本, 以及生成java 程式碼的protoc.exe的版本,三者需要一致。

1.1.1. 使用命令生成

下面開始生成 訊息的 Java程式碼。 需要用到下面的指令:

protoc.exe --java_out=輸出的Java檔案路徑名稱 .proto檔案路徑名稱

例如:

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

輸入完之後,回車即可在目標目錄看到已經生成好的Java檔案,然後將該檔案放到專案中該檔案指定的路徑下即可。

本案例的工程中,以及給大家準備好了.bat windows 的命令檔案,在 .bat 目錄 下執行.bat 檔案即可。 .bat 檔案如下:

d:
cd D:\crazymakercircleJava\nettydemo\chatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

使用的時候,注意調整為實際的目錄。

1.1.2. 命令生成程式碼的兩個大坑

1.1.2.1. 大坑一:可勁兒提示沒有協議版本

使用protoc.exe指令生成java程式碼時,提示沒有設定協議版本。錯誤如下:

D:\crazymakercircleJava\nettydemo\chatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

[libprotobuf WARNING T:\src\github\protobuf\src\google\protobuf\compiler\parser.cc:562] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)

實際上,協議版本是已經設定好了的。

1.1.2.2. 大坑二: 沒有生成Java程式碼

通過切換到老的protobuf程式碼生成器版本,比方說2.6.1 ,這時候,會沒有錯誤提示了。

但是,新的問題來了,在程式碼生成的目標目錄下,就是看不到生成Java程式碼。說明程式碼還是沒有生成成功。

爬出這兩個大坑,會浪費大量的時間。

1.1.3. 使用Maven外掛生成Java程式碼

其實,天無絕人之路。

一條更好的路等著你來。這就是maven外掛。

使用protobuf-maven-plugin,可以非常方便的生成Java程式碼。

外掛的配置如下:

<plugin>
    <groupId>org.xolstice.maven.plugins</groupId>
    <artifactId>protobuf-maven-plugin</artifactId>
    <version>0.5.0</version>
    <extensions>true</extensions>
    <configuration>
        <!--預設值-->
        <protoSourceRoot>${project.basedir}/proto/protoConfig</protoSourceRoot>
        <!--預設值-->
        <!--<outputDirectory>${project.build.directory}/generated-sources/protobuf/java</outputDirectory>-->
        <outputDirectory>${project.build.sourceDirectory}</outputDirectory>
        <!--設定是否在生成java檔案之前清空outputDirectory的檔案,預設值為true,設定為false時也會覆蓋同名檔案-->
        <clearOutputDirectory>false</clearOutputDirectory>
        <!--預設值-->
        <temporaryProtoFileDirectory>${project.build.directory}/protoc-temp</temporaryProtoFileDirectory>
              <protocExecutable>${project.basedir}/proto/protobin/protoc3.6.1.exe</protocExecutable>
    </configuration>
    <executions>
        <execution>
            <goals>
                <goal>compile</goal>
                <goal>test-compile</goal>
            </goals>
        </execution>
    </executions>
</plugin>

外掛的配置項中,需要配置的內容如下:

(1)protoSourceRoot : protobuf 協議檔案的路徑

(2)outputDirectory :java 檔案的目標路徑

(3)protocExecutable : protobuf 程式碼生成工具的路徑

配置好之後,執行外掛的compile命令, Java程式碼就利索的生成了。


瘋狂創客圈 分散式實戰社群
  • 億級流量 高併發 IM後臺 開源專案實戰

  • Netty 原始碼、原理、JAVA NIO 原理

  • Java 面試題 一網打盡
  • 瘋狂創客圈 【 部落格園 總入口 】