protobuf + maven 爬坑記
瘋狂創客圈 死磕Netty 億級流量架構系列之20
【部落格園 總入口 】
本文說明
本篇是 netty+Protobuf 整合實戰的 第一篇,完成一個 基於Netty + Protobuf 實戰案例。
要實現高併發、大流量,首先需要高傳輸效率的協議,Protobuf 是迄今為止最高效能之一的傳輸格式,我們首先將 Protobuf 和Netty整合起來。
本案例原始碼
原始碼下載連結: netty+protobuf (整合原始碼)
1.1. protobuf 程式碼生成
在建立好.proto協議檔案之後,就需要按照好了對應版本的 protoc.exe工具。 protoc.exe工具**是生成Java檔案的工具軟體。 安裝的方法,前面已經講了。
這裡需要提示一下版本。Java 的maven 配置檔案中 proto 包的版本,和 .proto檔案的版本, 以及生成java 程式碼的protoc.exe的版本,三者需要一致。
1.1.1. 使用命令生成
下面開始生成 訊息的 Java程式碼。 需要用到下面的指令:
protoc.exe --java_out=輸出的Java檔案路徑名稱 .proto檔案路徑名稱
例如:
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto
輸入完之後,回車即可在目標目錄看到已經生成好的Java檔案,然後將該檔案放到專案中該檔案指定的路徑下即可。
本案例的工程中,以及給大家準備好了.bat windows 的命令檔案,在 .bat 目錄 下執行.bat 檔案即可。 .bat 檔案如下:
d:
cd D:\crazymakercircleJava\nettydemo\chatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto
使用的時候,注意調整為實際的目錄。
1.1.2. 命令生成程式碼的兩個大坑
1.1.2.1. 大坑一:可勁兒提示沒有協議版本
使用protoc.exe指令生成java程式碼時,提示沒有設定協議版本。錯誤如下:
D:\crazymakercircleJava\nettydemo\chatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto
[libprotobuf WARNING T:\src\github\protobuf\src\google\protobuf\compiler\parser.cc:562] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)
實際上,協議版本是已經設定好了的。
1.1.2.2. 大坑二: 沒有生成Java程式碼
通過切換到老的protobuf程式碼生成器版本,比方說2.6.1 ,這時候,會沒有錯誤提示了。
但是,新的問題來了,在程式碼生成的目標目錄下,就是看不到生成Java程式碼。說明程式碼還是沒有生成成功。
爬出這兩個大坑,會浪費大量的時間。
1.1.3. 使用Maven外掛生成Java程式碼
其實,天無絕人之路。
一條更好的路等著你來。這就是maven外掛。
使用protobuf-maven-plugin,可以非常方便的生成Java程式碼。
外掛的配置如下:
<plugin>
<groupId>org.xolstice.maven.plugins</groupId>
<artifactId>protobuf-maven-plugin</artifactId>
<version>0.5.0</version>
<extensions>true</extensions>
<configuration>
<!--預設值-->
<protoSourceRoot>${project.basedir}/proto/protoConfig</protoSourceRoot>
<!--預設值-->
<!--<outputDirectory>${project.build.directory}/generated-sources/protobuf/java</outputDirectory>-->
<outputDirectory>${project.build.sourceDirectory}</outputDirectory>
<!--設定是否在生成java檔案之前清空outputDirectory的檔案,預設值為true,設定為false時也會覆蓋同名檔案-->
<clearOutputDirectory>false</clearOutputDirectory>
<!--預設值-->
<temporaryProtoFileDirectory>${project.build.directory}/protoc-temp</temporaryProtoFileDirectory>
<protocExecutable>${project.basedir}/proto/protobin/protoc3.6.1.exe</protocExecutable>
</configuration>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>test-compile</goal>
</goals>
</execution>
</executions>
</plugin>
外掛的配置項中,需要配置的內容如下:
(1)protoSourceRoot : protobuf 協議檔案的路徑
(2)outputDirectory :java 檔案的目標路徑
(3)protocExecutable : protobuf 程式碼生成工具的路徑
配置好之後,執行外掛的compile命令, Java程式碼就利索的生成了。
瘋狂創客圈 分散式實戰社群
億級流量 高併發 IM後臺 開源專案實戰
Netty 原始碼、原理、JAVA NIO 原理
- Java 面試題 一網打盡
瘋狂創客圈 【 部落格園 總入口 】