日志平台每秒百万条埋点,MySQL 扛不住,Kafka 单机每秒十万级写入脸不红心不跳。它是大数据管道的事实标准,面试问 MQ 必从它起手。
Topic: order-events(逻辑分类)
Partition 0: [Leader@B1, Follower@B2, Follower@B3]
Partition 1: [Leader@B2, Follower@B3, Follower@B1]
Partition 2: [Leader@B3, ...]
Consumer Group: order-service
消费者0 → Partition0 消费者1 → Partition1
六个名词一次认清:Broker(Kafka 服务节点)、Topic(消息主题,逻辑分类)、Partition(分区,Topic 的物理分片,内部是有序不可变日志)、Offset(消息在分区内的序号)、Consumer Group(消费者组,组内分摊分区)、ISR(In-Sync Replicas,与 Leader 保持同步的副本集合)。
两条铁律:读和写都只找 Partition 的 Leader,Follower 只负责备份;一个分区在同一个组内只能被一个消费者消费——组内有序的根基就在这。
分区数怎么定要会说:它是并行度的天花板——生产端并行写、消费端消费者数,上限都是分区数。常规起步 6~12 个,按吞吐倒推:目标吞吐 ÷ 单分区吞吐 ≈ 分区数,再留三成余量。也不是越多越好:副本同步量、文件句柄、Leader 选举开销全随分区数上涨。
顺带一句版本演进:Kafka 3.x 起用 KRaft(内置 Raft 共识的元数据管理机制)取代 ZooKeeper,元数据自己管,部署少一个组件——面试提一句就是加分信号。
每个 Partition 在磁盘上是多个 Segment(分段文件,默认 1GB 一个):.log 存数据、.index 存偏移量索引、.timeindex 存时间索引。index 是稀疏索引(每隔 4KB 建一条),查 offset=368776 时先二分定位 Segment,再在 index 里二分找到最近的索引项,顺序扫 .log 补完最后几步。
Kafka 快的五件套:顺序写(追加到文件尾,不随机寻道)、零拷贝(sendfile 系统调用,数据不过用户空间,4 次拷贝减到 2 次)、PageCache(热数据躺在操作系统页缓存里)、批量压缩发送、多分区并行读写。这五件里前两件是骨架,后面是加速器。
数字感受一下差距:机械盘顺序写能到几百 MB/s,随机写只有几百 KB/s,差三个数量级——「追加日志」这一个设计决定,就买下了 Kafka 吞吐的底座。零拷贝的消费端收益同样可观:消费者拉历史消息时数据从页缓存直奔网卡,全程不惊动应用层。
ISR 补两个进阶词:LEO(每个副本下一条消息的 offset)、HW(高水位,ISR 里最小的 LEO)。消费者只能读到 HW——没同步完的消息绝不给你看,这是「不丢不错」的底线设计。
消费者提交的位移也有个家:内部主题 __consumer_offsets。每个消费组的位点,就存在这个 Kafka 自己管理的 Topic 里。于是元数据「自产自销」:消息、位移、消费组的成员信息,全是普通日志。用自己最擅长的顺序写解决自己的状态存储——这个自举设计值得品一品。
消费者入组、离组、心跳超时都会触发 Rebalance(分区重新分配)。流程:组协调者发现变化 → 全体重新入组 → 组长制定分配策略(Range 按范围 / RoundRobin 轮询 / Sticky 尽量不动旧分配,推荐)→ 各自按新分配继续。
代价要记牢:Rebalance 期间全组停止消费(类似 STW),期间「已消费未提交」的消息还会重演一遍重复消费。调参方向:session.timeout.ms 调大(如 25s)、heartbeat 调小、max.poll.interval.ms 按业务最慢处理时间放宽。
一个典型事故形态:消费者处理一批消息要 6 分钟,超过 max.poll.interval.ms(默认 5 分钟),协调者认定它死了,踢出组触发 Rebalance;它处理完想提交 offset,发现组已重排,又申请入组——组就这么反复震荡,吞吐掉到零。排查入口就是日志里的 rebalance 记录和每批处理耗时,两相对照立刻现形。
不丢消息,三环节设防:
Map<String, Object> props = new HashMap<>();
props.put(BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ACKS_CONFIG, "all"); // 所有ISR确认才算成功
props.put(RETRIES_CONFIG, 3); // 发送失败重试
props.put(ENABLE_IDEMPOTENCE_CONFIG, true); // 幂等生产者,防重试重复
props.put(BATCH_SIZE_CONFIG, 16384); // 16KB凑批
props.put(LINGER_MS_CONFIG, 10); // 多等10ms凑一批再发
Broker 端配套:副本数 ≥3、min.insync.replicas ≥2、禁掉非 ISR 选主。消费端:关自动提交,业务处理完再手动 commit offset。ack 三档:0 发完就忘(最快可丢)、1 Leader 写入即确认(Leader 挂了可能丢)、all 全 ISR 确认(最稳)。
顺序性:同一个 key(如 orderId)哈希到同一分区,分区内天然 FIFO。注意只能保证分区内有序——全局有序只能单分区单消费者,吞吐掉到没法用,99% 场景要的其实是「局部有序」(同一订单的事件有序)。
幂等:重复无法根治只能消化。推荐双层:Redis SETNX 按 msgId 快速去重(挡 99%)+ 数据库状态机兜底(UPDATE ... WHERE status='UNPAID',影响行数为 0 就跳过)。即使 Redis 里键过期漏放一条,状态机也拦得住。
堆积:先查 LAG(kafka-consumer-groups --describe),再对症下药:消费者数 < 分区数就扩容;批量消费(max.poll.records=500);实在追不上,新建更多分区的 Topic 做转发分流;过期消息评估后直接挪位点跳过。
堆积处置的真实账本:大促后积分组 LAG 涨到两千万,消费速率 2000/s,追平要近三小时。决策三问——消息有 TTL 吗(过期的评估业务损失)、分区数还够加消费者吗(不够就得走转发分流)、能不能跳过(活动都结束了的发放消息,挪位点直接跳)。三问答完,方案自己浮出来。
Kafka 的骨架是「分区 + 副本 + 顺序写」,快靠顺序写和零拷贝,稳靠 ISR 和 acks=all——四大问题(丢失/顺序/幂等/堆积)各有标准答案,组合起来就是生产配置。