2. 程式人生 > >五、Netty5解決TCP粘包問題

五、Netty5解決TCP粘包問題

阿新 • • 發佈：2019-02-02

我們在前面的Demo中並沒有考慮到讀半包問題，這在功能測試中往往沒有問題，但是一旦壓力上來，或者傳送大報文之後，就會存在粘包和拆包問題，如果程式碼沒有考慮，往往就會出現解碼錯位或者錯誤，導致程式不能正常執行。下面使用netty的半包解碼器來解決TCP粘包和拆包問題。

工具：IntelliJ IDEA 2016.2.2(64)

netty版本：netty-all-5.0.0.Alpha1

服務端程式：

package TCPTimeServer;


import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture
 
;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
import io.netty.handler
 
.codec.LineBasedFrameDecoder;
import io.netty.handler.codec.string.StringDecoder;

/**
 * Created by L_kanglin on 2017/6/4.
 */
public class TCPTimeServer {
        public void bind(int port){
            // 配置服務端的NIO執行緒組
            EventLoopGroup bossGroup = new NioEventLoopGroup();
            EventLoopGroup workerGroup = new NioEventLoopGroup();
 

            try {
                ServerBootstrap b = new ServerBootstrap();

                // 設定執行緒組及Socket引數
                b.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).option(ChannelOption.SO_BACKLOG, 1024)
                        .childHandler(new ChildChannelHandler());

                // 繫結埠，同步等待成功
                ChannelFuture f = b.bind(port).sync();
                System.out.println("服務已經啟動,埠:" + port);

                f.channel().closeFuture().sync();
            } catch (Exception e) {
            } finally {
                // 退出釋放執行緒池資源
                bossGroup.shutdownGracefully();
                workerGroup.shutdownGracefully();
                System.out.println("服務銷燬!");
            }
        }


        public class ChildChannelHandler extends ChannelInitializer<SocketChannel> {

            @Override
            protected void initChannel(SocketChannel ch) throws Exception {
                // 以下兩行程式碼為了解決半包讀問題
                ch.pipeline().addLast(new LineBasedFrameDecoder(1024));
                ch.pipeline().addLast(new StringDecoder());

                ch.pipeline().addLast(new TimerServerHandler());
            }

        }

    public static void main(String[] args) {
        int port = 8080;
        if (null != args && args.length > 0) {
            try {
                port = Integer.valueOf(args[0]);
            } catch (Exception e) {
                // 採用預設值
            }
        }
        new TCPTimeServer().bind(port);
    }
}

package TCPTimeServer;


import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;

import io.netty.channel.ChannelHandlerAdapter;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

import java.net.InetAddress;
import java.util.Date;


/**
 * Created by L_kanglin on 2017/6/4.
 */
public class TimerServerHandler extends ChannelHandlerAdapter {
    private int counter;

    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        String body = (String) msg;
        System.out.println("The time server receive order:" + body + ";the counter is:" + (++counter));
        String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body) ? new Date(System.currentTimeMillis()).toString()
                : "BAD ORDER";
        currentTime = currentTime + System.getProperty("line.separator");
        ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes());
        ctx.write(resp);
    }

    public void channelReadComplete(ChannelHandlerContext ctx) {
        ctx.flush();
    }

    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        ctx.close();
    }
}

客戶端程式：

package TCPTimeClient;

import io.netty.bootstrap.Bootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.handler.codec.LineBasedFrameDecoder;
import io.netty.handler.codec.string.StringDecoder;

/**
 * Created by L_kanglin on 2017/6/4.
 */
public class TCPTimeClient {
    public void connect(int port, String host) {
        // 配置客戶端的NIO執行緒組
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap b = new Bootstrap();
            b.group(group).channel(NioSocketChannel.class).option(ChannelOption.TCP_NODELAY, true)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {
                            // 以下兩行程式碼為了解決半包讀問題
                            ch.pipeline().addLast(new LineBasedFrameDecoder(1024));
                            ch.pipeline().addLast(new StringDecoder());

                            ch.pipeline().addLast(new TimeClientHandler());
                        }
                    });
            // 發起非同步連線操作
            ChannelFuture f = b.connect(host, port).sync();

            // 等待鏈路關閉
            f.channel().closeFuture().sync();

        } catch (Exception e) {
        } finally {
            // 退出，釋放NIO執行緒組
            group.shutdownGracefully();
        }
    }

    public static void main(String[] args) {
        int port = 8080;
        if (null != args && args.length > 0) {
            try {
                port = Integer.valueOf(args[0]);
            } catch (Exception e) {
            }
        }
        new TCPTimeClient().connect(port, "127.0.0.1");
    }

}

package TCPTimeClient;


import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerAdapter;
import io.netty.channel.ChannelHandlerContext;
import java.util.logging.Logger;

/**
 * Created by L_kanglin on 2017/6/5.
 */
public class TimeClientHandler extends ChannelHandlerAdapter {
    private static final Logger logger = Logger.getLogger(TimeClientHandler.class.getName());

    private int counter;

    private byte[] req;

    public TimeClientHandler() {
        req = ("QUERY TIME ORDER" + System.getProperty("line.separator")).getBytes();
    }

    public void channelActive(ChannelHandlerContext ctx) {
        ByteBuf message = null;
        for (int i = 0; i < 50; i++) {
            message = Unpooled.buffer(req.length);
            message.writeBytes(req);
            ctx.writeAndFlush(message);
        }
    }

    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        String body = (String) msg;
        System.out.println("Now is:" + body + "; the counter is:" + (++counter));
    }

    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        logger.warning("Unexcepted exception from downstream:" + cause.getMessage());
        ctx.close();
    }
}

服務端執行程式如下：

服務已經啟動,埠:8080
The time server receive order:QUERY TIME ORDER;the counter is:1
The time server receive order:QUERY TIME ORDER;the counter is:2
The time server receive order:QUERY TIME ORDER;the counter is:3
The time server receive order:QUERY TIME ORDER;the counter is:4
The time server receive order:QUERY TIME ORDER;the counter is:5
The time server receive order:QUERY TIME ORDER;the counter is:6
The time server receive order:QUERY TIME ORDER;the counter is:7
The time server receive order:QUERY TIME ORDER;the counter is:8
The time server receive order:QUERY TIME ORDER;the counter is:9
The time server receive order:QUERY TIME ORDER;the counter is:10
The time server receive order:QUERY TIME ORDER;the counter is:11
The time server receive order:QUERY TIME ORDER;the counter is:12
The time server receive order:QUERY TIME ORDER;the counter is:13
The time server receive order:QUERY TIME ORDER;the counter is:14
The time server receive order:QUERY TIME ORDER;the counter is:15
The time server receive order:QUERY TIME ORDER;the counter is:16
The time server receive order:QUERY TIME ORDER;the counter is:17
The time server receive order:QUERY TIME ORDER;the counter is:18
The time server receive order:QUERY TIME ORDER;the counter is:19
The time server receive order:QUERY TIME ORDER;the counter is:20
The time server receive order:QUERY TIME ORDER;the counter is:21
The time server receive order:QUERY TIME ORDER;the counter is:22
The time server receive order:QUERY TIME ORDER;the counter is:23
The time server receive order:QUERY TIME ORDER;the counter is:24
The time server receive order:QUERY TIME ORDER;the counter is:25
The time server receive order:QUERY TIME ORDER;the counter is:26
The time server receive order:QUERY TIME ORDER;the counter is:27
The time server receive order:QUERY TIME ORDER;the counter is:28
The time server receive order:QUERY TIME ORDER;the counter is:29
The time server receive order:QUERY TIME ORDER;the counter is:30
The time server receive order:QUERY TIME ORDER;the counter is:31
The time server receive order:QUERY TIME ORDER;the counter is:32
The time server receive order:QUERY TIME ORDER;the counter is:33
The time server receive order:QUERY TIME ORDER;the counter is:34
The time server receive order:QUERY TIME ORDER;the counter is:35
The time server receive order:QUERY TIME ORDER;the counter is:36
The time server receive order:QUERY TIME ORDER;the counter is:37
The time server receive order:QUERY TIME ORDER;the counter is:38
The time server receive order:QUERY TIME ORDER;the counter is:39
The time server receive order:QUERY TIME ORDER;the counter is:40
The time server receive order:QUERY TIME ORDER;the counter is:41
The time server receive order:QUERY TIME ORDER;the counter is:42
The time server receive order:QUERY TIME ORDER;the counter is:43
The time server receive order:QUERY TIME ORDER;the counter is:44
The time server receive order:QUERY TIME ORDER;the counter is:45
The time server receive order:QUERY TIME ORDER;the counter is:46
The time server receive order:QUERY TIME ORDER;the counter is:47
The time server receive order:QUERY TIME ORDER;the counter is:48
The time server receive order:QUERY TIME ORDER;the counter is:49
The time server receive order:QUERY TIME ORDER;the counter is:50

客戶端執行程式如下：

Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:1
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:2
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:3
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:4
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:5
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:6
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:7
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:8
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:9
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:10
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:11
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:12
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:13
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:14
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:15
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:16
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:17
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:18
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:19
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:20
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:21
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:22
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:23
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:24
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:25
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:26
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:27
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:28
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:29
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:30
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:31
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:32
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:33
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:34
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:35
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:36
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:37
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:38
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:39
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:40
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:41
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:42
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:43
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:44
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:45
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:46
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:47
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:48
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:49
Now is:Mon Jun 05 10:29:49 CST 2017; the counter is:50

模擬TCP粘包和半包場景，採用簡單的壓力測試，通訊鏈路建立成功之後，客戶端連續傳送100條訊息給服務端，然後檢視服務端和客戶端的執行結果。

LineBasedFrameDecoder和StringDecoder的原理分析：
LineBasedFrameDecoder的工作原理是它依次遍歷ByteBuf中的可讀位元組，判斷看是否有“\n”或者“\r\n”，如果有，就以此位置為結束位置，從可讀索引到結束位置區間的位元組就組成了一行。它是以換行符為結束標誌的解碼器，支援攜帶結束符或者不攜帶結束符兩種解碼方式，同時支援配置單行的最大長度。如果連續讀取到最大長度後仍然沒有發現換行符，就會丟擲異常，同時忽略掉之前讀到的異常碼流。

StringDecoder就是將接收到的物件轉換成字串，然後繼續呼叫後面的handler。LineBasedFrameDecoder+StringDecoder組合就是按行切換的文字解碼器，它被設計用來支援TCP的粘包和拆包。

相關推薦

五、Netty5解決TCP粘包問題

我們在前面的Demo中並沒有考慮到讀半包問題，這在功能測試中往往沒有問題，但是一旦壓力上來，或者傳送大報文之後，就會存在粘包和拆包問題，如果程式碼沒有考慮，往往就會出現解碼錯位或者錯誤，導致程式不能正常執行。下面使用netty的半包解碼器來解決TCP粘包和拆包問

Netty中LineBasedFrameDecoder解碼器使用與分析：解決TCP粘包問題

ring public xpl cep ctx new 綁定端口 註意 相關 [toc] Netty中LineBasedFrameDecoder解碼器使用與分析：解決TCP粘包問題 上一篇文章《Netty中TCP粘包問題代碼示例與分析》演示了使用了時間服務器的例子演示了T

python全棧開發基礎【補充】解決tcp粘包

技術 服務端 消息 log 完成後 open unpack div pytho 一、什麽是粘包 須知：只有TCP有粘包現象，UDP永遠不會粘包 粘包不一定會發生 如果發生了：1.可能是在客戶端已經粘了 　　　　　　2.客戶端沒有粘，可能是在服務端粘了 首先需要掌握一個soc

結合RPC框架通訊談 netty如何解決TCP粘包問題

0.起因 因為自己造一個RPC框架的輪子時，需要解決TCP的粘包問題，特此記錄，希望方便他人。這是我寫的RPC框架的 GitHub地址 github.com/yangzhenkun… 歡迎star，fork。已經寫了多篇文章對這個框架的原理進行說明。對原理有興趣的歡迎交流。 1.什麼是粘包 1.1 什麼

python套接字解決tcp粘包問題

python套接字解決tcp粘包問題 目錄 什麼是粘包演示粘包現象 解決粘包 實際應用       什麼是粘包 首先只有tcp有粘包現象，udp沒有粘包     socket收發訊息的原理    

Netty學習之分隔符解決TCP粘包

package com.phei.netty.s20160424; import io.netty.bootstrap.ServerBootstrap; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.ne

【轉】Netty之解決TCP粘包拆包(自定義協議)

https://www.cnblogs.com/sidesky/p/6913109.html 1、什麼是粘包/拆包        一般所謂的TCP粘包是在一次接收資料不能完全地體現一個完整的訊息資料。TCP通訊為何存在粘包呢？主要原因是TCP是以流的方

Netty之解決TCP粘包拆包(設定訊息邊界)

1、什麼是粘包/拆包        一般所謂的TCP粘包是在一次接收資料不能完全地體現一個完整的訊息資料。TCP通訊為何存在粘包呢？主要原因是TCP是以流的方式來處理資料，再加上網路上MTU的往往小於在應用處理的訊息資料，所以就會引發一次接收的資料無法滿足訊息的需要，

TCP粘包/拆包--利用DelimiterBasedFrameDecoder解決TCP粘包問題

前面我們介紹了利用LineBasedFrameDecoder解決TCP的粘包/拆包的問題， 現在我們繼續介紹Netty的另外一種解碼器--DelemiterBasedFrameDecoder。 1. DelimiterBasedFrameDecoder服務端開發 EchoS

Netty之解決TCP粘包拆包(自定義協議)

1、什麼是粘包/拆包        一般所謂的TCP粘包是在一次接收資料不能完全地體現一個完整的訊息資料。TCP通訊為何存在粘包呢？主要原因是TCP是以流的方式來處理資料，再加上網路上MTU的往往小於在應用處理的訊息資料，所以就會引發一次接收的資料無法滿足訊息的需要，導

【Netty入門】解決TCP粘包/分包的例項

回顧TCP粘包/分包問題的解決方法 1.訊息定長 2.在包尾都增加特殊字元進行分割 3.將訊息分為訊息頭和訊息體 針對這三種方法，下面我會分別舉例驗證 FixedLengthFrameDecoder類 對應第一種解決方法：訊息定長 （1）例1：

TCP粘包，拆包及解決方法、丟包的原因及解決辦法

粘包、拆包發生原因 發生TCP粘包或拆包有很多原因，現列出常見的幾點，可能不全面，歡迎補充， 1、要傳送的資料大於TCP傳送緩衝區剩餘空間大小，將會發生拆包。 2、待發送資料大於MSS（最大報文長度），TCP在傳輸前將進行拆包。 3、要傳送的資料小於

socket tcp 粘包解決

connect line 應該 字節 unpack otto stdout except soc 何為粘包： 先看代碼 session=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 在定義socket對象的時候 有兩個參數

TCP網絡通訊如何解決分包粘包問題（有模擬代碼）

負責 return 發送數據 pop boa target u3d swe n) TCP作為常用的網絡傳輸協議，數據流解析是網絡應用開發人員永遠繞不開的一個問題。 TCP數據傳輸是以無邊界的數據流傳輸形式，所謂無邊界是指數據發送端發送的字節數，在數據接收端接受時並不一定等

tcp粘包、拆包

傳輸 packet ima .cn bsp log src blog 一次 粘包、拆包發生原因：發生TCP粘包或拆包有很多原因，現列出常見的幾點，可能不全面，歡迎補充，1、要發送的數據大於TCP發送緩沖區剩余空間大小，將會發生拆包。2、待發送數據大於MSS（最大報文長度），

查漏補缺：socket編程：TCP粘包問題和常用解決方案（上）

原因 image 延遲確認 大小 style bsp 緩沖 ket 導致 　　1、TCP粘包問題的產生（發送端） 　　由於TCP協議是基於字節流並且無邊界的傳輸協議，因此很容易產生粘包問題。TCP的粘包可能發生在發送端，也可能發生在接收端。發送端的粘包是TCP協議本身引起的

【轉載】TCP粘包問題分析和解決（全）

刪除 而且 實例 報文 底層 nagle 存在 ngxin 想想 TCP通信粘包問題分析和解決（全） 在socket網絡程序中，TCP和UDP分別是面向連接和非面向連接的。因此TCP的socket編程，收發兩端（客戶端和服務器端）都要有成對的socket，因此，發送端為了將

Netty中使用MessagePack時的TCP粘包問題與解決方案

private pri delay read complete bcd 資源 tina object [toc] Netty中使用MessagePack時的TCP粘包問題與解決方案 通過下面的實例代碼來演示在Netty中使用MessagPack時會出現的TCP粘包問題，為

TCP粘包拆包基本解決方案

scu fonts println mar 是我 perf throws 自己 切割 上個小節我們淺析了在Netty的使用的時候TCP的粘包和拆包的現象，Netty對此問題提供了相對比較豐富的解決方案 Netty提供了幾個常用的解碼器，幫助我們解決這些問題，其實上述

netty權威指南學習筆記四——TCP粘包/拆包之粘包問題解決

方法 pan 對象 protect row 學習 ddl .get font 　　發生了粘包，我們需要將其清晰的進行拆包處理，這裏采用LineBasedFrameDecoder來解決 LineBasedFrameDecoder的工作原理是它依次遍歷ByteBuf中的可讀字節