← 课程目录 🚀 从零到一
📐 学习维度 阶段7 · 第28章 开源项目源码精读 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

28.9.2 热key探测:Netty长连接、过滤链与etcd规则推送

审校 2026-09-26 · 素材来源:zcode会话《分析项目架构与分布式设计模式》(项目源码分析)
📑 本篇章节导航 (共6节,点击直达)
场景:五千台机器怎么同步类比:广播台与公告栏可跑示例原理拆解踩坑清单面试怎么问

热 key 判定快不快,一半靠算法,另一半靠「路修得好」:client 到 worker 之间怎么传数据、规则怎么分发到几千台机器。JD-hotKey 的答案是 Netty 长连接 + 过滤链 + etcd,这篇拆这条数据通道。

前置阅读:12.2 讲过 Netty 长连接。这篇看 hotkey 的推送链路与规则下发。

场景:五千台机器怎么同步

先说清四个模块怎么分工:client 嵌在业务 JVM 里,负责计数、上报、收热 key 写本地缓存;worker 是无状态计算节点,收上报、跑滑动窗口、判热推送;common 放协议模型(HotKeyModel、HotKeyMsg)和 etcd 封装;dashboard 是控制台,配规则、标手工热 key、看监控。

假设集群有 5000 台业务机器,每秒产生 100 个热 key。规则变更、热 key 推送、节点上下线,这些消息都要在毫秒级铺满全集群。

最偷懒的方案是所有人都去轮询一个中心存储——但 5000 台 client × 每秒 100 个热 key = 50 万次推送压力,etcd 这种单点协调服务根本扛不住。所以这个框架做了一个关键分工:etcd 只管慢变的元数据,热 key 走 Netty 专用通道。

类比:广播台与公告栏

把整个系统想成一个小区:

慢数据走公告栏(可靠、可回看),快数据走专线(低延迟、可水平扩展),这是所有消息系统都要做的「快慢分离」。

可跑示例

client 接入只需要一个建造者风格的启动器:


new ClientStarter.Builder()
    .setAppName("{{APP_NAME}}")
    .setEtcdServer("{{ETCD_HOST}}:2379")
    .build();

// 启动后 client 自动完成:
// 1. 从 etcd 拉取 worker 列表并建立 Netty 长连接
// 2. watch 规则 key,规则变更秒级热更新
// 3. 本地计数批量上报,接收热 key 写入 Caffeine

worker 端注册则是向 etcd 写一个带 TTL(time to live,存活时长,到期自动删除)的租约节点,每 5 秒续一次,TTL 设 8 秒——worker 进程一挂,没人续租,节点自动消失,全集群立刻感知。

原理拆解

1. 过滤链:一条 Netty 连接多种消息

client 和 worker 之间只维护一条长连接,但传输的消息五花八门:心跳、上报计数、热 key 推送。怎么复用?

NodesServerHandler.channelRead0 里是一段典型的责任链(chain of responsibility,请求依次经过一串处理器,各自决定处理还是放行):


for (INettyMsgFilter filter : filters) {
    if (!filter.filter(msg)) break; // 返回 false 中断链条
}

每个 INettyMsgFilter 实现类用 @Order 注解标执行顺序:心跳过滤器最先(连接保活),然后是 AppName 校验、热 key 处理、计数上报。加新消息类型只需加一个 filter,不动已有代码。

消息模型在 common 模块:HotKeyMsg 定义消息类型,HotKeyModel 承载单个 key 的数据。事件解耦则封装了 Guava 的 EventBus,worker 变化、规则变化全走 @Subscribe 订阅,这是观察者模式。

2. 路由:同一个 key 永远去同一个 worker

WorkerInfoHolder.chooseChannel() 的路由逻辑朴素到极致:


int index = Math.abs(key.hashCode() % size);
return WORKER_HOLDER.get(index).channel;

这是一致性哈希(consistent hashing,相同输入永远落到同一节点)思想的简化版。同一个 key 固定路由到同一个 worker,计数才能在单点聚合不漏判。worker 列表存在 CopyOnWriteArrayList 里且按 address 排序——保证所有 client 算出的路由表完全一致。

3. 服务发现与故障转移

worker 挂了会丢数据吗?会丢一个探测周期,但作者论证过:真正热的 key 丢几秒照样热回来,不热的丢不丢都热不了。所以 worker 之间不需要任何状态同步,架构极简但够用。

4. worker 内部的削峰

Netty IO 线程绝不碰计算。上报消息先进一个 200 万容量的 LinkedBlockingQueue,再由 CpuNum.workerCount() 自适应数量的消费线程取走判热。IO 与计算解耦(生产者-消费者模式),洪峰来了队列先扛着,计算侧按自己的节奏消化。

worker 判热后走的是策略模式:IPusher 接口有两个实现,AppServerPusher(推 client)和 DashboardPusher(推 etcd),注入成 List<IPusher> 遍历执行。加一种推送目标就加一个实现类,符合开闭原则。

client 收到热 key 后的落点也值得一看:写入 Caffeine 本地缓存,带过期时间(默认跟随规则里的热度持续时长)。业务查询时 JdHotKeyStore.isHotKey() 先看这个缓存,命中就不去 Redis。也就是说整条链路的终点,是让热点访问退化成一次纯内存读。

顺带盘点这个项目里其他值得指认的模式:ClientStarter.Builder 是建造者,NettyClient.getInstance() 是单例,EtcdConfigFactory、KeyHandlerFactory 是工厂,IKeyListener/ReceiveNewKeyListener 是模板方法。一个中间件项目几乎是设计模式的活教材,面试聊源码时按「模式—源码位置—解决什么问题」三点报菜名,比背概念有说服力得多。

踩坑清单

面试怎么问

「热 key 为什么用 Netty 推而不用 etcd watch?」——答:etcd 是单点协调服务,五千台 client 每秒几十万次推送会打垮它;worker 无状态可水平扩展,Netty 长连接直推延迟 10ms 级。

「worker 挂了怎么办?」——答:etcd 租约过期自动摘除,key 重新哈希到其他 worker,最多丢一个探测周期,真正热的 key 会立刻重新变热,所以不需要 worker 间状态同步。

「过滤链和直接写 if-else 比好在哪?」——答:消息类型再多也不用改主流程,新增类型只加一个带 @Order 的 filter,热 key、心跳、上报互不干扰,扩展和维护成本都低。