☰
← 返回首页
❓ 面试题库
🌓
目录导航
一、Kafka 核心概念(1-14)
二、RocketMQ 核心概念(15-24)
三、RabbitMQ 核心概念(25-33)
四、三大 MQ 选型对比(34-36)
五、消息四大核心问题(37-44)
六、消息高级特性(45-50)
📑 本篇章节导航
(共6章,点击直达)
一、Kafka 核心概念(1-14)
二、RocketMQ 核心概念(15-24)
三、RabbitMQ 核心概念(25-33)
四、三大 MQ 选型对比(34-36)
五、消息四大核心问题(37-44)
六、消息高级特性(45-50)
Q10 - 消息队列
一、Kafka 核心概念(1-14)
Kafka 的基本架构组件有哪些?
★★★
Broker:消息服务器节点,多个 Broker 组成集群。
Topic:消息分类,每个 Topic 分为多个 Partition。
Producer/Consumer:生产者和消费者,Consumer Group 实现消费组。
ZooKeeper/KRaft:集群元数据管理(Kafka 3.x+ 支持 KRaft 去 ZK 模式)。
Kafka Partition 的作用和分区策略?
★★★
分区是并行度的基本单位:同一 Consumer Group 内一个分区只能被一个消费者消费。
分区策略:指定分区号、按 key 哈希(相同 key 到同一分区保证顺序)、轮询(Round Robin)、自定义 Partitioner。
分区数影响并行消费能力和吞吐量,但过多分区增加 Leader 选举开销和文件句柄。
Kafka 的 ISR 机制是什么?
★★★★★
ISR(In-Sync Replicas):与 Leader 保持同步的副本集合(包括 Leader 自身)。
Follower 从 Leader 拉取数据,落后太多(超过 replica.lag.time.max.ms)会被踢出 ISR。
Leader 宕机时优先从 ISR 中选举新 Leader,保证数据不丢失。
Kafka 的 acks 参数有哪些取值?
★★★★
acks=0:Producer 不等确认,最高吞吐但可能丢消息。
acks=1:Leader 写入即返回,Leader 宕机可能丢。
acks=all(或 -1):所有 ISR 副本确认,最安全但延迟最高。
配合 min.insync.replicas(≥2)使用确保至少有 2 个副本确认。
Kafka 如何实现消息幂等性?
★★★★
Producer 开启 enable.idempotence=true,Kafka 为每个 Producer 分配 PID。
每个 <PID, Partition> 维护递增的 Sequence Number,Broker 去重。
只能保证单 Producer 单 Partition 单会话内的幂等,跨 Partition 不保证。
Kafka 事务消息的原理?
★★★★
开启 transactional.id,Producer 发送消息前开启事务,可以跨 Partition 原子提交或回滚。
Consumer 设置 isolation.level=read_committed 只读取已提交的消息。
典型场景:消费→处理→发送结果,整个流程要么全部成功要么全部回滚。
Kafka Consumer Group 的消费模型?
★★★
同一 Group 内:一个分区只能被一个消费者消费(保证顺序)。
消费者数 > 分区数时,多余的消费者空闲(rebalance 后分配)。
不同 Group 之间:各自独立消费,互不影响(发布-订阅模型)。
Kafka 的 offset 管理机制?
★★★★
Consumer 定期提交 offset 到内部 Topic __consumer_offsets(默认自动提交,间隔 5 秒)。
自动提交可能丢消息(提交了但未处理完)或重复消费(处理完但未提交)。
手动提交(enable.auto.commit=false):同步 commitSync 或异步 commitAsync。
Kafka 的存储机制(日志段)?
★★★
每个 Partition 对应一个目录,数据以日志段(LogSegment)存储。
每个段包含 .log(消息数据)、.index(稀疏偏移索引)、.timeindex(时间索引)。
顺序写磁盘,利用操作系统 Page Cache 提升性能,零拷贝传输。
Kafka 的零拷贝原理?
★★★★
传统:磁盘→内核缓冲→用户空间→Socket缓冲→网卡(4次拷贝)。
零拷贝:通过 sendfile() 系统调用,数据直接从内核 Page Cache 到网卡(2次拷贝)。
Consumer 拉取消息时走零拷贝路径,大幅减少 CPU 拷贝和上下文切换。
Kafka 如何保证消息顺序性?
★★★★
Kafka 只保证 Partition 内的消息顺序,不保证 Topic 级别的全局顺序。
要保证顺序:将需要有序的消息发送到同一个 Partition(使用相同 key)。
分区有序 + 消费者单线程消费分区数据即可保证消费顺序。
Kafka 的压缩机制?
★★★
Producer 端压缩(compression.type=gzip/snappy/lz4/zstd),Broker 端保持压缩传输。
一批消息整体压缩再发送,减少网络带宽和存储空间。
Consumer 端解压,整个流程对应用透明。
Kafka 的消费者 Rebalance 机制?
★★★★
触发条件:消费者加入/离开 Group、订阅 Topic 分区数变化、消费者心跳超时。
旧版通过 ZooKeeper 监听;新版通过 Group Coordinator 管理。
Rebalance 期间所有消费者停止消费(Stop The World),应尽量减少 Rebalance 频率。
Kafka 如何处理消费者 Rebalance 导致的重复消费?
★★★
Rebalance 前已提交 offset:可能丢消息(消费者A提交了offset但还没处理完,消费者B从offset继续)。
Rebalance 前未提交 offset:会重复消费(消费者A处理完了但没提交,消费者B从头消费)。
解决:手动提交 offset + 幂等消费(数据库去重/全局唯一ID)。
二、RocketMQ 核心概念(15-24)
RocketMQ 的架构组件有哪些?
★★★
NameServer:轻量级注册中心(无状态,各节点独立,不通信)。
Broker:消息存储服务器,分 Master(读写)和 Slave(只读)。
Producer/Consumer:支持普通/顺序/事务/延迟消息。
Topic → Queue(分区):每个 Topic 有多个 Queue 分布在不同 Broker。
RocketMQ 的 NameServer 为什么不选 ZooKeeper?
★★★★
NameServer 无状态、节点间不通信,部署简单,不需要选主。
Broker 定时向所有 NameServer 注册,客户端定时拉取路由信息。
避免了 ZK 的复杂性和性能瓶颈,RocketMQ 认为消息领域的元数据不需要强一致性。
RocketMQ 的 Tag 和 Key 有什么区别?
★★★
Tag:消息二级分类,Consumer 可按 Tag 过滤(Broker 端过滤,节省网络带宽)。
Key:消息业务唯一标识,用于查询和去重(Dashboard 可按 Key 查消息)。
一条消息只能有一个 Tag,但可以有多个 Key(用空格分隔)。
RocketMQ 事务消息的原理?
★★★★★
半事务消息发送到 Broker(对消费者不可见)→ 执行本地事务 → 提交/回滚。
本地事务长时间未返回:Broker 定时回查事务状态(最多15次)。
三步:发送半消息 → 执行本地事务 → 二次确认(Commit/Rollback)。
RocketMQ 顺序消息如何实现?
★★★★
Producer 使用 MessageQueueSelector 将有序消息发到同一个 Queue。
Consumer 使用 MessageListenerOrderly 对每个 Queue 单线程顺序消费。
全局顺序:Topic 只有一个 Queue;分区顺序:同一业务 key 路由到同一 Queue。
RocketMQ 延迟消息的原理?
★★★★
将消息存入内部 SCHEDULE_TOPIC_XXXX Topic,按延迟级别分 Queue。
定时线程(ScheduleMessageService)按时间检查到期消息,转投到目标 Topic。
开源版支持 18 个固定延迟级别(1s/5s/10s/30s/.../2h);商业版支持任意延迟。
RocketMQ 的消息存储结构?
★★★
CommitLog:所有消息顺序写入一个文件(混合存储,1GB 一个文件)。
ConsumeQueue:消息消费队列索引(按 Topic+Queue 分),存 offset+size+tagsCode。
IndexFile:基于 key 的哈希索引,支持按 key/时间范围查询消息。
RocketMQ 如何保证消息不丢失?
★★★★
Producer:同步发送 + 重试;Broker:同步刷盘 + 主从同步。
Consumer:手动 ACK,失败重试(最多16次),超过进入死信队列。
Broker 刷盘策略:同步(SYNC_FLUSH)最安全;异步(ASYNC_FLUSH)性能更好。
RocketMQ 的消息过滤机制?
★★★
Tag 过滤:Broker 端基于哈希码过滤(可能有误判,Consumer 二次确认)。
SQL92 过滤:Broker 端通过 SQL 表达式过滤用户属性(更精确但更耗 CPU)。
Consumer 也可以在客户端做二次过滤,但会浪费网络带宽。
RocketMQ 的死信队列机制?
★★★
消息消费失败达到最大重试次数(默认16次)后进入 %DLQ%ConsumerGroup 死信队列。
死信队列的消息不会再自动投递,需要人工处理或程序读取后手动重试。
监控死信队列是消息系统运维的关键指标。
三、RabbitMQ 核心概念(25-33)
RabbitMQ 的 Exchange 类型有哪些?
★★★
Direct:精确匹配路由键(routing key == binding key)。
Fanout:广播到所有绑定队列,忽略路由键。
Topic:通配符匹配路由键(* 匹配一个词,# 匹配零或多个词)。
Headers:基于消息头匹配(性能差,少用)。
RabbitMQ 的消息确认机制?
★★★★
Producer 确认:publisher confirm(异步确认消息到达 Broker)。
Consumer 确认:ACK(正常确认)、NACK(拒绝重入队列)、REJECT(丢弃)。
开启 publisher confirm + mandatory 确保消息找到正确的队列。
RabbitMQ 的死信队列(DLX)机制?
★★★★
消息成为死信的条件:消息被拒绝(NACK/REJECT 且不重入)、消息过期(TTL)、队列满。
队列声明时绑定 DLX(dead-letter-exchange)和 DLK(dead-letter-routing-key)。
死信消息自动路由到 DLX,再由 DLX 路由到死信队列统一处理。
RabbitMQ 如何实现延迟消息?
★★★★
方案一:TTL + 死信队列(消息过期后进入 DLX 延迟消费)。
方案二:rabbitmq_delayed_message_exchange 插件(消息头设延迟时间,Exchange 延迟投递)。
方案一的坑:先入队列的大 TTL 消息会阻塞后面的小 TTL 消息(队列头部阻塞)。
RabbitMQ 的限流(QoS)机制?
★★★
Consumer 设置 basicQos(prefetchCount):未确认消息达到上限时不再投递。
prefetchCount=1:处理一条确认后再投递下一条,最慢但最均衡。
合理设置 prefetchCount 可平衡吞吐量和消费者负载均衡。
RabbitMQ 的集群模式有哪些?
★★★
普通集群:队列只在一个节点上,其他节点缓存元数据(可转发请求)。
镜像队列(经典):队列在多个节点上有副本(Master-Slave 模式,已不推荐)。
仲裁队列(Quorum Queue):基于 Raft 协议的强一致队列(推荐替代镜像队列)。
RabbitMQ 的消息持久化需要哪三步?
★★★
Exchange 声明为 durable;Queue 声明为 durable。
消息 deliveryMode 设为 2(persistent)。
三者缺一不可:任一环节非持久化都可能导致消息丢失。
RabbitMQ 如何保证消息顺序性?
★★★
RabbitMQ 保证单个队列内的消息有序。
多队列时无法保证全局顺序:将有序消息路由到同一个队列。
单队列单消费者消费即可保证顺序;多消费者消费同一队列则无法保证。
RabbitMQ 的 Return 机制和 Backup Exchange?
★★★
mandatory=true 时,消息无法路由到队列会触发 Return Callback(退回 Producer)。
备份交换机(Alternate Exchange):无法路由的消息发送到 AE,AE 再路由到备份队列。
用于监控和处理无法路由的消息,避免消息静默丢失。
四、三大 MQ 选型对比(34-36)
Kafka、RocketMQ、RabbitMQ 的吞吐量对比?
★★★
Kafka:百万级 TPS,适合日志/大数据场景,顺序写+零拷贝极致优化。
RocketMQ:十万级 TPS,适合业务消息场景,功能丰富(事务/延迟/顺序)。
RabbitMQ:万级 TPS,适合中小规模业务,路由灵活,社区活跃,协议标准化(AMQP)。
三大 MQ 的可靠性对比?
★★★★
RabbitMQ:单条消息确认 + 持久化 + 镜像/仲裁队列,支持细粒度可靠性控制。
RocketMQ:同步刷盘 + 主从同步 + 事务消息 + 消费重试,金融级可靠性。
Kafka:副本机制 + ISR + acks=all,适合允许少量丢失的大数据场景(配置得当可不丢)。
三大 MQ 的选型建议?
★★★
Kafka:日志收集、大数据管道、流处理、高吞吐量场景。
RocketMQ:电商/金融业务消息、事务消息、延迟消息、顺序消息需求。
RabbitMQ:中小规模系统、复杂路由需求、多语言环境、快速开发原型。
五、消息四大核心问题(37-44)
如何保证消息不丢失?(生产端)
★★★★
Producer 端:同步发送 + 重试机制(Kafka retries、RocketMQ retry)。
RabbitMQ:开启 publisher confirm + mandatory 机制。
确认消息到达 Broker 才算发送成功,必要时写入本地日志兜底。
如何保证消息不丢失?(存储端)
★★★★
Kafka:acks=all + min.insync.replicas≥2,同步刷盘。
RocketMQ:同步刷盘(SYNC_FLUSH)+ 主从同步复制。
RabbitMQ:Exchange/Queue/Messages 三者都持久化 + 仲裁队列。
如何保证消息不丢失?(消费端)
★★★★
消费成功后再提交 offset/ACK(手动确认)。
Kafka:手动提交 offset(disable.auto.commit)。
RabbitMQ:手动 ACK;RocketMQ:返回 CONSUME_SUCCESS。
如何处理消息重复消费(幂等性)?
★★★★★
全局唯一 ID(业务幂等键):每条消息携带唯一 ID,消费前去重表检查。
数据库唯一索引:插入时冲突自动忽略(INSERT IGNORE / ON DUPLICATE KEY)。
状态机:订单状态只能单向流转(待支付→已支付→已发货),重复消费不改变状态。
Redis SETNX 去重:消费前 SETNX message_id,存在则跳过。
如何保证消息的顺序性?
★★★★
Producer:有序消息路由到同一个分区/队列(相同 key 或指定分区)。
Broker:分区/队列内的消息天然有序(append-only log)。
Consumer:单线程消费同一分区/队列,或多线程按 key 分组串行处理。
如何处理消息堆积?
★★★★
紧急:增加消费者数量(注意不超过分区数上限)、临时扩容消费者机器。
快速消费:消费者只做消息转储(写到另一个 Topic/数据库),后续慢慢处理。
根因排查:消费者处理慢(DB慢查询、外部API超时)、消费者频繁 Rebalance。
消息堆积的预防措施?
★★★
监控消费者 Lag(Kafka ConsumerLag、RocketMQ 延迟量)。
合理设置消费者参数(prefetch、max.poll.records)避免消费过慢。
限流降级:消息量突增时降级非核心业务,保护核心消费链路。
消息的精确一次消费(Exactly-Once)如何实现?
★★★★★
Kafka 事务 + 幂等 Producer + 消费端幂等 = 端到端 Exactly-Once。
幂等消费是关键:无论消息投递多少次,业务结果一致。
工程上不追求"系统层面的精确一次",而是通过幂等实现"业务上的精确一次"。
六、消息高级特性(45-50)
消息批量发送的最佳实践?
★★★
Kafka:Producer 的 batch.size(16KB)和 linger.ms(等待凑批的时间)配合使用。
RocketMQ:使用 DefaultMQProducer.sendCollection() 批量发送。
注意单批大小限制(Kafka 默认 1MB),过大会增加延迟和内存压力。
消费者的优雅上下线?
★★★
Kafka:调用 consumer.wakeup() 唤醒 poll 循环,在 finally 中 close。
RocketMQ:shutdown() 等待当前消息处理完再关闭。
注册 JVM ShutdownHook 确保进程被 kill 时也能优雅关闭。
Kafka 的消费者参数调优?
★★★
fetch.min.bytes / fetch.max.bytes:控制每次拉取的数据量范围。
max.poll.records:单次 poll 最大消息数(默认500),影响处理批大小。
max.poll.interval.ms:两次 poll 最大间隔(默认5分钟),超时触发 Rebalance。
session.timeout.ms / heartbeat.interval.ms:心跳和会话超时配置。
RocketMQ 的消费模式有哪些?
★★★
CLUSTERING(集群消费):同一 Group 内每条消息只被一个消费者消费(负载均衡)。
BROADCASTING(广播消费):同一 Group 内每条消息被所有消费者消费。
默认集群消费;广播消费适用于所有节点都需要收到消息的场景(如缓存刷新)。
RabbitMQ 的消息轨迹追踪?
★★★
rabbitmq_tracing 插件:记录消息的发布、路由、消费全过程。
Firehose 机制:将所有消息的副本转发到指定队列用于追踪。
生产环境可按需开启,注意性能开销。
消息队列的监控指标有哪些?
★★★
消息堆积量(Lag/延迟量):最重要的告警指标。
生产/消费 TPS:吞吐量监控,异常下降时告警。
消费者 Rebalance 频率:频繁 Rebalance 影响消费稳定性。
Broker 磁盘/网络/CPU 使用率;消息大小分布;消费延迟 P99。
← 返回首页
↑