用户注册成功后,系统要做三件事:发短信、发邮件、送新人积分。同步调用三个下游,任何一个慢半拍,注册接口就跟着慢;任何一个挂掉,注册直接失败——库都落了,页面却报错。
MQ(消息队列,应用之间异步传递消息的中间件)就是为这类场景生的。类比成小区的快递柜:寄件人把包裹扔进柜子就走,不必站在原地等收件人当面签收。发消息的(生产者)和收消息的(消费者)不必同时在线。
异步提速。同步链路的账:注册落库 50ms + 短信 200ms + 邮件 300ms + 积分 200ms = 750ms。落库后把一条「用户已注册」消息扔进 MQ(5ms)就返回——接口 55ms 完成,后续动作各自消费。用户体验从「等一秒」变「秒开」。
解耦。订单支付成功后,库存要扣减、积分要增加、物流要通知。不用 MQ 时订单系统得认识每个下游,下游增减都得改订单代码。用了之后订单只发一条 OrderPaid 事件,谁关心谁订阅。下月新增「风控审计」消费方,订单系统一行不改——这就是发布订阅(一条消息通知所有订阅方的模型)的力量。
削峰填谷。秒杀开抢,瞬时 10 万 QPS 直冲数据库,DB 的能力只有 5000/s。请求先进队列攒着,消费者按数据库受得了的速率平稳拉取。队列就是洪水前的蓄水池,把「到达速率」和「处理速率」这对矛盾拆开。
削峰这笔账要会演算:10 万请求排队、按 5000/s 消费,20 秒消化完洪峰,用户侧表现为「处理中」转圈片刻;不排队的话,第 1 秒连接池打满,后面 9 万多个请求直接超时报错。排队换来的是「慢一点但都成功」——超时失败率和平均延迟,业务往往更疼前者。
MQ 的内核用 JDK 的阻塞队列就能模拟,跑一遍体感就有了:
BlockingQueue<String> queue = new LinkedBlockingQueue<>(100);
// 生产者:只管往里扔,队列满了自动阻塞等待
new Thread(() -> {
try { queue.put("order:1001 已支付"); }
catch (InterruptedException e) { Thread.currentThread().interrupt(); }
}).start();
// 消费者:按自己的节奏取,队列空了自动阻塞等新消息
new Thread(() -> {
try {
while (true) System.out.println("处理 " + queue.take());
} catch (InterruptedException e) { Thread.currentThread().interrupt(); }
}).start();
put 在满时阻塞、take 在空时阻塞——两侧被「队列容量」天然隔开。所有 MQ 都是这套骨架的网络化放大版。
一条链路三个角色:生产者(Producer,发消息的一方)、Broker(消息服务端,负责存储转发的节点)、消费者(Consumer,收消息的一方)。消息模型分两大门派:
Kafka、RocketMQ 的 Topic 两边通吃:不同消费组之间是广播(各组收全量),同一组内是点对点(组内分摊)。
消费方式分推和拉。推是 Broker 主动塞给消费者,实时性好,但消费者处理不过来时会被压垮;拉是消费者按自己能力来取,天然带背压(下游处理能力反向约束上游速率的机制)。Kafka 是纯拉模式——快慢自己说了算,这也是它堆积能力强的一个原因。
投递语义(消息传递的保证等级)分三档,先把术语立住:
工程现实是:真正落地的组合都是「至少一次 + 消费端幂等」,把恰好一次当目标去逼近,不当承诺去依赖——这也是 11.2 幂等方案存在的根本原因。
同一条支付链路里,「扣款结果」必须同步告诉用户(强一致,页面等着呢),「通知发货」「记账」「通知风控」都可以排队(最终一致)。边界不是画在「重要/不重要」上,是画在用户是否当场等这个结果上。画错了边界的典型症状:把该同步的异步了,用户看到「处理中」心里没底;把该异步的同步了,接口耗时叠成俄罗斯套娃。
上 MQ 之前先看清四笔代价:
1. 可用性依赖:MQ 挂了整条链路瘫痪,所以 MQ 自身必须高可用,运维难度不低
2. 一致性降级:主流程落库和下游消费之间有秒级窗口,强一致场景(支付结果确认)不能这么玩
3. 重复消息不可避免:网络重试、消费超时都会造成「至少一次」投递,消费端必须幂等(11.2 展开)
4. 复杂度上桌:消息堆积、顺序性、链路追踪,每样都是新功课
判断口诀:主流程强一致、必须同步拿结果的,别进队列;允许最终一致的旁路动作(通知、统计、异步落库),果断进队列。MQ 是「把同步的确定性换成异步的吞吐量」的交易,签约前想清楚自己付得起什么。
MQ 用「排队」换三样东西——接口提速、系统解耦、流量削峰;代价是一致性降级和幂等功课,值不值由业务对「马上知道结果」的执念程度决定。