热 key 判定快不快,一半靠算法,另一半靠「路修得好」:client 到 worker 之间怎么传数据、规则怎么分发到几千台机器。JD-hotKey 的答案是 Netty 长连接 + 过滤链 + etcd,这篇拆这条数据通道。
前置阅读:12.2 讲过 Netty 长连接。这篇看 hotkey 的推送链路与规则下发。
先说清四个模块怎么分工:client 嵌在业务 JVM 里,负责计数、上报、收热 key 写本地缓存;worker 是无状态计算节点,收上报、跑滑动窗口、判热推送;common 放协议模型(HotKeyModel、HotKeyMsg)和 etcd 封装;dashboard 是控制台,配规则、标手工热 key、看监控。
假设集群有 5000 台业务机器,每秒产生 100 个热 key。规则变更、热 key 推送、节点上下线,这些消息都要在毫秒级铺满全集群。
最偷懒的方案是所有人都去轮询一个中心存储——但 5000 台 client × 每秒 100 个热 key = 50 万次推送压力,etcd 这种单点协调服务根本扛不住。所以这个框架做了一个关键分工:etcd 只管慢变的元数据,热 key 走 Netty 专用通道。
把整个系统想成一个小区:
慢数据走公告栏(可靠、可回看),快数据走专线(低延迟、可水平扩展),这是所有消息系统都要做的「快慢分离」。
client 接入只需要一个建造者风格的启动器:
new ClientStarter.Builder()
.setAppName("{{APP_NAME}}")
.setEtcdServer("{{ETCD_HOST}}:2379")
.build();
// 启动后 client 自动完成:
// 1. 从 etcd 拉取 worker 列表并建立 Netty 长连接
// 2. watch 规则 key,规则变更秒级热更新
// 3. 本地计数批量上报,接收热 key 写入 Caffeine
worker 端注册则是向 etcd 写一个带 TTL(time to live,存活时长,到期自动删除)的租约节点,每 5 秒续一次,TTL 设 8 秒——worker 进程一挂,没人续租,节点自动消失,全集群立刻感知。
client 和 worker 之间只维护一条长连接,但传输的消息五花八门:心跳、上报计数、热 key 推送。怎么复用?
NodesServerHandler.channelRead0 里是一段典型的责任链(chain of responsibility,请求依次经过一串处理器,各自决定处理还是放行):
for (INettyMsgFilter filter : filters) {
if (!filter.filter(msg)) break; // 返回 false 中断链条
}
每个 INettyMsgFilter 实现类用 @Order 注解标执行顺序:心跳过滤器最先(连接保活),然后是 AppName 校验、热 key 处理、计数上报。加新消息类型只需加一个 filter,不动已有代码。
消息模型在 common 模块:HotKeyMsg 定义消息类型,HotKeyModel 承载单个 key 的数据。事件解耦则封装了 Guava 的 EventBus,worker 变化、规则变化全走 @Subscribe 订阅,这是观察者模式。
WorkerInfoHolder.chooseChannel() 的路由逻辑朴素到极致:
int index = Math.abs(key.hashCode() % size);
return WORKER_HOLDER.get(index).channel;
这是一致性哈希(consistent hashing,相同输入永远落到同一节点)思想的简化版。同一个 key 固定路由到同一个 worker,计数才能在单点聚合不漏判。worker 列表存在 CopyOnWriteArrayList 里且按 address 排序——保证所有 client 算出的路由表完全一致。
mergeAndConnectNew 做差量:新的连上、消失的剔除checkReceiveKeyCount() 发现连续 60 秒没收到 key,怀疑自己网络分区,主动停止上报 etcd 30 秒,让自己从列表消失,逼 client 重连别人worker 挂了会丢数据吗?会丢一个探测周期,但作者论证过:真正热的 key 丢几秒照样热回来,不热的丢不丢都热不了。所以 worker 之间不需要任何状态同步,架构极简但够用。
Netty IO 线程绝不碰计算。上报消息先进一个 200 万容量的 LinkedBlockingQueue,再由 CpuNum.workerCount() 自适应数量的消费线程取走判热。IO 与计算解耦(生产者-消费者模式),洪峰来了队列先扛着,计算侧按自己的节奏消化。
worker 判热后走的是策略模式:IPusher 接口有两个实现,AppServerPusher(推 client)和 DashboardPusher(推 etcd),注入成 List<IPusher> 遍历执行。加一种推送目标就加一个实现类,符合开闭原则。
client 收到热 key 后的落点也值得一看:写入 Caffeine 本地缓存,带过期时间(默认跟随规则里的热度持续时长)。业务查询时 JdHotKeyStore.isHotKey() 先看这个缓存,命中就不去 Redis。也就是说整条链路的终点,是让热点访问退化成一次纯内存读。
顺带盘点这个项目里其他值得指认的模式:ClientStarter.Builder 是建造者,NettyClient.getInstance() 是单例,EtcdConfigFactory、KeyHandlerFactory 是工厂,IKeyListener/ReceiveNewKeyListener 是模板方法。一个中间件项目几乎是设计模式的活教材,面试聊源码时按「模式—源码位置—解决什么问题」三点报菜名,比背概念有说服力得多。
hashCode % size 结果会错位,同一 key 分散到多个 worker,统计就废了checkReceiveKeyCount 主动停报 30 秒是防御网络分区的正常行为,监控告警要把这个动作排除掉「热 key 为什么用 Netty 推而不用 etcd watch?」——答:etcd 是单点协调服务,五千台 client 每秒几十万次推送会打垮它;worker 无状态可水平扩展,Netty 长连接直推延迟 10ms 级。
「worker 挂了怎么办?」——答:etcd 租约过期自动摘除,key 重新哈希到其他 worker,最多丢一个探测周期,真正热的 key 会立刻重新变热,所以不需要 worker 间状态同步。
「过滤链和直接写 if-else 比好在哪?」——答:消息类型再多也不用改主流程,新增类型只加一个带 @Order 的 filter,热 key、心跳、上报互不干扰,扩展和维护成本都低。