秒杀开始那一秒,某个 sku 的访问量从每秒十次涨到每秒十万次。等你的监控系统发现,缓存早被打穿了。京东开源的 JD-hotKey 框架解决的正是这件事:毫秒级探测出热 key,推到全集群每台机器的 JVM 内存里。
这篇拆两个问题:怎么判断一个 key「热了」,以及规则和阈值怎么定。
前置阅读:第 10 章讲过热 key 的概念。这篇读 hotkey 源码,看滑动窗口怎么探测。
先看一个反直觉的事实:单机根本判断不出谁是热点。
一个应用有数千台机器,刷子一秒刷某个接口 500 次。分摊到任何一台机器,一秒可能不到 1 次。每台机器看自己的数据,都觉得「风平浪静」,但集群总量已经是洪水。
所以设计上必须有一个中心化汇总节点(worker,把所有机器的上报聚在一起算的进程),把全集群的访问计数聚合起来判定。这是整个框架成立的前提。
另一个约束是速度:秒杀场景要求 10ms 内把热 key 推到所有客户端,等 1 秒黄花菜都凉了。
把 worker 想象成收费站,把滑动窗口想象成「只看最近 5 秒」的监控员。
每辆车过站(每个 key 被访问),监控员就在最近 N 秒的小本子上记一笔。小本子上的数超过阈值,立刻拉警报——这个 key 热了。
先在控制台(dashboard)配一条规则:这个 app 下,key 前缀为 sku_ 的,1 秒内访问 30 次就算热。然后业务代码里只需要一行:
// 嵌入业务应用,引入 client 包后
boolean hot = JdHotKeyStore.isHotKey("sku_{{DEMO_SKU}}");
if (hot) {
// 已经热了:本地缓存兜底、限流、降级,任你组合
Object val = localCache.getIfPresent("sku_{{DEMO_SKU}}");
if (val == null) { val = loadFromDb(); localCache.put("sku_{{DEMO_SKU}}", val); }
return val;
}
// 没热:正常走 Redis
return redis.get("sku_{{DEMO_SKU}}");
规则是动态的:dashboard 改了阈值,etcd 一路 watch 下去,client 和 worker 秒级热更新,不用重启。
除了自动判定,dashboard 还支持手工热 key:运营提前知道某个商品要上秒杀,直接在控制台把 sku_{{DEMO_SKU}} 标成热,写入 etcd 的 hotKey 目录,所有 client 立刻把它请进本地缓存。自动探测兜突发,人工标注兜已知,两套互补。
核心判定逻辑在 worker 端的 KeyListener 和它持有的 SlidingWindow。
client 端做的事很简单:本地用 Caffeine(一个高性能 JVM 本地缓存库)累加每个 key 的计数,攒一小段时间批量上报。上报走 Netty 长连接,到 worker 后先进一个大缓冲队列,再由 KeyConsumer 消费线程交给 KeyListener。
KeyListener 的处理流程:
1. 按 app + key 前缀匹配 KeyRule(多少秒内访问多少次算热),拿到窗口时长和阈值
2. 从 SlidingWindow 里取该 key 的窗口实例(没有就建一个)
3. 窗口内部按时间切成多个小格子(slot),新访问落到当前格子,读取时把窗口内的格子求和
4. 累加值超过阈值 → 判定变热,触发推送
规则模型 KeyRule 用建造者模式构造,字段大致是:key 前缀、窗口秒数、阈值次数、是否持续热度。规则存在 etcd,client 和 worker watch 同一个 key,dashboard 一改两边都收到 ruleChange 事件,热更新本地规则缓存。这是推模式(服务端主动通知,而非客户端轮询)。
worker 判热后的推送走双通道,KeyListener.newKey 里遍历 List<IPusher>:
AppServerPusher:Netty 长连接直推所有 client,10ms 一批DashboardPusher:写 etcd 的 hotKey 目录,给后启动的 client 补数据有一个很值得学的工程取舍:作者在 KeyListener 的注释里承认,阈值并发场景下可能把同一个 key 重复推送两次,但他选择不解决。因为触发条件极其苛刻,多推一次 client 无感知,而真要解决就得给窗口加锁,牺牲高频路径的性能不值得。典型的「允许最终一致,换吞吐」。
worker 还要统计「热 key 命中了多少次」给 dashboard 看,这个高频计数怎么不撞锁?答案是 TurnCountCollector 的双缓冲(double buffer,两块内存交替读写)设计:
ConcurrentHashMap(HIT_MAP_0 / HIT_MAP_1)交替承担「写」的角色AtomicLong 的奇偶性切换:线程只写当前活跃的那块,无锁读写永远不在同一块内存上,高并发统计完全不竞争。这个模式比一把 synchronized 高效得多,值得单独记一笔。
官方压测:单 worker 16 核跑到 37 万 QPS,一台 worker 撑 1000 台业务机器。拆开看三个支撑点:
1. client 端本地聚合,上报的是批量计数不是原始访问,网络流量压缩了几个数量级
2. worker 端 IO 与计算分离,计算线程数按 CPU 核数自适应
3. 全程无锁或弱锁:路由用取模、统计用双缓冲、窗口宁可重复推送也不加锁
createTime,超过 5 秒的旧消息直接丢弃,避免跨机器时钟差和网络延迟污染窗口——秒杀都结束了,老数据没价值「热 key 探测为什么必须中心化?」——答:单机流量被集群摊薄,任何一台都看不出热点,必须把全集群计数聚合到 worker 统一判定,再毫秒级推回各机器内存。
「滑动窗口比固定窗口好在哪?」——答:没有窗口边界,任意时刻统计的都是最近 N 秒,不会在边界处漏判两段拼接的超限。
「热 key 探测误报怎么办?」——答:靠规则阈值兜底,窗口短阈值高就只抓真突发;重复推送由幂等接收兜底,client 收到已热的 key 直接忽略,代价为零。