上一篇拆了 AIO 回调骨架。但真正决定一个网络框架上限的,是线程模型:数据解码、业务处理、消息发送分别跑在哪些线程上,怎么保证不乱、不加锁、还快。这篇拆 t-io 的线程模型,顺带讲清心跳和集群路由怎么挂在这套模型上。
前置阅读:12.2 讲过粘包与解码。这篇看 t-io 的线程模型与集群路由。
IM 群聊里一条消息要推给十万人,不同连接的处理速度天差地别。如果所有连接共享一个队列,慢连接会堵死快连接;如果加锁保护共享队列,锁竞争又吃掉吞吐。
t-io 的答案写在一行源码注释里:「解码任务对象,一个连接对应一个本对象」。
每张桌子(连接)有专属服务员(DecodeRunnable),服务员只管自己那桌,天然不用抢。后厨还是统一分工的:解码区、炒菜区(HandlerRunnable)、出餐区(SendRunnable),每个区域有自己的线程组。
同一桌的菜按点单顺序上(单连接串行),不同桌互不等待(多连接并行)。
TioServerConfig config = new TioServerConfig("127.0.0.1", 8888, new DemoHandler());
// 线程组大小直接在配置里调
config.setReadThreadNum(4); // 读监听线程组
config.setDecodeThreadNum(8); // 解码线程池
config.setHandlerThreadNum(16); // 业务处理线程池
config.setSendThreadNum(8); // 发送线程池
// 心跳:90 秒没收到任何包就踢掉
config.setHeartbeatTimeout(90000);
TioServer server = new TioServer(config);
server.start();
// 验证串行化:同一连接两条消息,处理顺序一定等于到达顺序
// 在 handler() 里打印 ctx + packet 顺序即可观察
核心结构在 org.tio.core.task 包:
1. 每个 ChannelContext(一条连接的上下文)持有自己的 DecodeRunnable、SendRunnable、HandlerRunnable
2. 三者都继承 AbstractQueueRunnable——模板方法模式(父类定好「从队列取消息→执行」骨架,子类只实现 runTask() 细节),内部队列用 TioFullWaitQueue
3. 读回调把字节丢进该连接的 DecodeRunnable 队列就返回;解码线程取出后,若 PacketHandlerMode 是 QUEUE,再把业务包丢进 HandlerRunnable 队列——策略模式(同一接口、多种可切换实现)在配置层切换单线程还是队列模式
这套设计的收益:同一连接天然串行、不同连接天然并行,全程无锁。和 Netty 的 per-channel EventLoop 思路同源,只是用 AIO 队列实现。
配套的并发工具是自研的 ObjWithLock 体系:MapWithLock、SetWithLock、ListWithLock,基于 ReentrantReadWriteLock 把任意集合包成线程安全容器,管用户、分组、Token、IP 黑名单等映射。业务侧完全不用自己加锁。
| API | 语义 | 实现 |
|---|---|---|
Tio.send() | 异步,丢队列就返回 | SendRunnable 队列 |
Tio.bSend() | 阻塞,等发送完成 | Packet.Meta.countDownLatch(倒计时门闩) |
Tio.synSend() | 同步请求-响应 | synSeq 序列号配对请求和响应 |
把网络编程最头疼的三种模型收进一个门面。
心跳检测挂在 ChannelContext 的超时时间戳上:每次收到包就刷新,检查线程发现超时就触发关闭。客户端侧 ReconnConf 配合 ReconnRunnable 实现自动重连——CloseRunnable、ReconnRunnable 同样是投递到线程池的命令对象(命令模式:把「要做的事」封装成对象排队执行)。
单机时 Tio.sendToUser() 直接查本机的 maintain.Users 映射。集群部署时问题来了:目标用户的连接可能在另一台机器上。t-io 的思路是把「绑定的连接去哪了」这个查找抽出来路由:绑定关系(用户/分组/Token)是本机视图,跨机投递靠集群间转发,把包发到目标连接所在的节点再落到它的 SendRunnable。同一套门面 API,业务不感知单机还是集群。
ChannelStat(单连接)、GroupStat(分组)、IpStat(按 IP + 时间段)三级统计,覆盖收发字节、包数、TCP 建连次数、心跳超时、处理耗时——监控开箱即用,对 IoT/IM 这种需要精细化运营的场景价值很大。
DecodeRunnable 里管理续包的字段是 lastByteBuffer:上次解码后没消费完的字节会存下来。新数据到达时,把新旧两段 composite 成一个缓冲区,再交给业务的 decode()。解码器链就这样被压缩成「一个业务方法 + 一个框架字段」,没有 Netty 那种显式的 ByteBuf 累加器 API,但效果等价。
这里有个容易忽略的细节:解码失败的异常处理。业务 decode() 抛异常时,t-io 会认为这个连接的数据流已经错位,继续解下去只会产生垃圾包,所以默认走关闭连接的逻辑。做协议设计时,务必保证解码器能识别非法输入并抛错,别静默吞掉。
t-io 的线程资源分成几组,配置里都可以独立调:
DecodeRunnable 所在的解码线程池HandlerRunnable 所在的业务处理线程池SendRunnable 所在的发送线程池注意「一个连接一个任务对象」不等于「一个连接一个线程」——是每连接一个队列,多个连接的队列分摊到固定数量的工作线程上执行。线程数是可控的,不会随连接数膨胀,这是它能扛几万长连接的前提。
最后补一个容量规划的思路:线程数不是越多越好。解码和发送是 CPU 密集加少量 IO,线程数贴近核数即可;业务处理线程池看你的 handler 有多重——纯内存操作给核数量级,要查库调接口就按下游的并发上限给。t-io 还有一个容易被忽略的卖点:同一 JVM 里多个 TioConfig(比如同进程起多个服务端)可以共享线程池和统计对象,避免每个服务各养一套线程,这个在设计多端口网关时很实用。
synSend 在 handler 线程里等自己连接的回包会死锁,要另起线程PacketHandlerMode 设 SINGLE_THREAD 时解码和业务处理在同一线程,省一次投递但业务会拖慢解码,高吞吐场景选 QUEUETio.getByUserid() 查的是本机连接,跨机语义要看集群路由配置,别当全局注册表用「t-io 怎么做到不加锁还线程安全?」——答:每连接独立的 Decode/Handler/Send 任务对象加消息队列,单连接内严格串行,连接间并行,天然无锁;跨连接的共享映射用自研 MapWithLock 读写锁容器兜底。
「Netty 和 t-io 的线程模型差异?」——答:思路同源(per-channel 串行化),Netty 用 NIO EventLoop 一条线程挂多个 channel,t-io 用 AIO 完成回调加每连接任务队列,并内置了用户/分组绑定、心跳、重连这些 Netty 要自己写的业务层能力。