← 课程目录 🚀 从零到一
📐 学习维度 阶段3 · 第12章 网络与 Netty 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

12.2 Netty 入门到实战:Reactor 与粘包

审校 2026-09-25 · 素材来源:Netty面试实战(wiki改写)、netty-demo、t-io会话#15
📑 本篇章节导航 (共8节,点击直达)
为什么不直接用 NIOReactor 线程模型:Netty 的骨架Pipeline:处理器的流水线TCP 粘包拆包:流协议的原罪零拷贝与 ByteBuf踩坑清单面试怎么问一句话总结

自己用原生 NIO 写过一次服务器的都懂:epoll 空轮询把 CPU 干到 100%、粘包拆包自己拿刀切、ByteBuffer 忘 flip 就读出乱码。Netty(基于 NIO 封装的高性能网络编程框架)把这些坑全填了——Dubbo、RocketMQ、Elasticsearch 底层都是它,Java 网络编程的事实标准。

为什么不直接用 NIO

痛点原生 NIONetty
空轮询 BugJDK epoll 缺陷,CPU 飙满检测到即重建 Selector
粘包拆包自己写内置多种解码器
内存管理ByteBuffer 固定长度ByteBuf 池化+自动扩容
线程模型自己设计主从 Reactor 内置

补一块地基:NIO 的核心是 IO 多路复用(一个线程同时监听成千上万个连接的读写就绪事件,Linux 上由 epoll 实现)——讲 Redis(10.1)时它已出场过。Netty 的 EventLoop 就是「一个线程 + 一个 epoll 实例 + 一个任务队列」的封装,把多路复用定型成主从 Reactor,使用者只管往 Pipeline 里塞处理器。

Reactor 线程模型:Netty 的骨架

三种模型演进着看:单 Reactor 单线程(一个线程包办连接和读写,Redis 6.0 之前的样子,怕慢命令);单 Reactor 多线程(Reactor 只管 IO,业务丢线程池);主从 Reactor 多线程——Netty 的默认:


BossGroup(1个线程) ── 只管 accept 新连接
     │ 注册
WorkerGroup(默认CPU核数*2) ── 管已建连接的读写
     │
业务线程池(可选) ── 耗时逻辑别占 IO 线程

EventLoop(事件循环,一个线程 + 一个 Selector + 一个任务队列的执行单元)是主角:每个 Channel(网络连接的抽象)在整个生命周期里绑定一个 EventLoop,一个 EventLoop 可服务多个 Channel(多对一)。绑定不变意味着 Channel 的所有操作都在同一线程执行——免锁,这是 Netty 高吞吐的隐藏功臣。

EventLoop 的循环体就三件事:select 等 IO 事件(最多阻塞一秒)、processSelectedKeys 处理就绪的读写、runAllTasks 跑任务队列(含定时任务)。IO 与任务的时间占比由 ioRatio 控制(默认对半)——业务任务塞太多,IO 处理就得排队,这又是「耗时逻辑丢业务线程池」的一个注脚。

一个最小可跑的 Echo 服务端:


EventLoopGroup boss = new NioEventLoopGroup(1);     // 只管接客
EventLoopGroup worker = new NioEventLoopGroup();    // 管读写
ServerBootstrap b = new ServerBootstrap();
b.group(boss, worker).channel(NioServerSocketChannel.class)
 .childHandler(new ChannelInitializer<SocketChannel>() {
     protected void initChannel(SocketChannel ch) {
         ch.pipeline().addLast(                     // 责任链组装
             new LengthFieldBasedFrameDecoder(65535,0,2,0,2),
             new StringDecoder(), new StringEncoder(),
             new ChannelAdapter() {});              // 业务处理器
     }
 });
b.bind(8080).sync();

Pipeline:处理器的流水线

ChannelPipeline(每个 Channel 自带的处理链,双向链表)里挂着两种处理器:入站 Inbound(读数据方向:解码 → 业务)和出站 Outbound(写数据方向:编码 → 发出)。数据流像穿过隧道:入站事件从 Head 走到 Tail,出站反过来。新连接、断连、读数据都是事件,各自的回调方法里写逻辑即可——这就是 Netty「事件驱动」的日常体感。

再补一个换线程的细节:Handler 默认在 IO 线程执行。想让某个业务 Handler 换线程,addLast 时多传一个 EventExecutorGroup——Netty 会把它的所有回调派给指定线程池。Pipeline 里「谁在哪个线程跑」可以逐个指定,这是 Netty 线程模型的精细处。

TCP 粘包拆包:流协议的原罪

TCP 是字节流协议,不维护消息边界。发方连发 "AB"、"CD",收方可能一次收到 "ABCD"(粘包),也可能拆成 "A"+"BCD"(拆包)。不是 bug,是本性——Nagle 优化和缓冲区都会促成它。

四种解法:固定长度、分隔符、长度字段(推荐)、自定义协议。长度字段方案的王者是 LengthFieldBasedFrameDecoder,五个参数对照 Dubbo 协议看:


协议格式: [魔数4B][版本1B][类型1B][长度4B][消息体NB]
new LengthFieldBasedFrameDecoder(
    65535,  // 最大帧长,防恶意大包
    6,      // 长度字段偏移:前面有6字节头部
    4,      // 长度字段本身占4字节
    0,      // 长度修正值
    2);     // 解码后跳过的头部字节数

Dubbo 协议(Magic+Flag+Status+DataLength+Body)就是这个设计——学懂这一个解码器,主流 RPC 框架的协议层就通了。

解码器之外另一个高频内置件是 IdleStateHandler(空闲检测处理器,连接多久没读没写就触发事件):客户端配「写空闲 5 秒发心跳」,服务端配「读空闲 15 秒踢连接」,一唱一和就是长连接保活的标准动作——比 TCP 自带的 keepalive(默认两小时才探测)灵敏得多。

零拷贝与 ByteBuf

Netty 的零拷贝分两层。操作系统层:FileRegion 封装 sendfile 传输文件、mmap 映射文件,数据不过用户空间(和 11.2 Kafka 同源)。应用层:CompositeByteBuf 逻辑合并多个缓冲区不发生物理拷贝、slice() 共享底层数组切视图——「头和体拼一个报文」不再需要 System.arraycopy。

ByteBuf 对 ByteBuffer 的三连升级:双指针(readerIndex/writerIndex)读写免切换,告别 flip;容量自动扩容;池化分配(jemalloc 思路)+ 引用计数(retain 加一、release 减一,归零还回池子)。生产推荐 PooledByteBufAllocator + 直接内存,GC 压力小一截。

直接内存这个选择展开一句:堆外内存不占堆,不引发 GC 搬运,但分配和释放比堆贵——所以池化(先申请一大块自己管)才是直接内存的正确打开方式。释放规则记一句「谁最后用谁释放」:入站数据一路传到链尾没人认领,TailContext 会兜底释放;用 SimpleChannelInboundHandler 收消息,channelRead0 走完自动释放;自己 new 的 ByteBuf 传给别人后,别在自己的 finally 里再 release——双重释放一样报 IllegalReferenceCountException。

排查泄漏还有现成工具:ResourceLeakDetector 有四级。开发环境开 paranoid,测试环境开 advanced,线上用默认 simple——报错里的泄漏记录会带上这块 Buffer 的创建与访问轨迹,顺着轨迹就能找到漏释放的那一站。

生产参数三件套顺带记下:SO_BACKLOG(全连接队列长度,万级并发要调大,否则三次握手完成了也挤不进 accept);TCP_NODELAY(禁用 Nagle 攒包算法,低延迟场景必开,否则小包等批引入上百毫秒延迟);收发缓冲区按吞吐目标调。参数不是背出来的,是压测里一个一个试出来的。

踩坑清单

面试怎么问

一句话总结

Netty = 主从 Reactor 线程模型 + Pipeline 责任链 + 内置粘包解码器 + 池化 ByteBuf——把 NIO 的天坑全填平,所以成了框架界的网络层标配。