Q72 - Kafka深度实战与消息中间件
共50道题 | 难度分布:★★★★★平均 | 20K+ Java后端岗位必考
一、Kafka架构基础(1-8)
Kafka的核心架构?
★★★★★
- Producer:消息生产者,将消息发送到Broker。
- Consumer/Consumer Group:消息消费者,Consumer Group实现负载均衡。
- Broker:Kafka服务节点,负责消息存储和转发。
- Topic:消息主题,逻辑分类。
- Partition:Topic的物理分片,是并行度的基本单位。
- ZooKeeper/KRaft:集群元数据管理(Kafka 3.3+支持KRaft无ZK模式)。
- 面试要点:理解Producer → Broker → Consumer的数据流,以及Topic/Partition的分层模型。
Kafka为什么高吞吐?
★★★★★
- 顺序写磁盘:追加写入日志文件,利用磁盘顺序写(600MB/s)远快于随机写(100KB/s)。
- 零拷贝(Zero-Copy):
sendfile()系统调用,数据从PageCache直接发送到网卡,不经过用户态。
- PageCache:利用OS的文件缓存,热数据直接从内存读取。
- 批处理:Producer批量发送、Consumer批量拉取,减少网络RTT。
- 压缩:支持gzip/snappy/lz4/zstd压缩,减少网络传输量。
- 分区并行:每个Partition独立读写,天然支持并行。
- 面试要点:能从存储模型、IO模型、网络模型3个维度解释Kafka的高吞吐。
Partition的作用?
★★★★★
- 并行度:Partition是Kafka并行处理的基本单位。
- 分区策略:
- 指定Partition:直接发送到指定分区。
- 指定Key:
hash(key) % partition_count(相同Key到同一分区,保证顺序)。
- 无Key:Round Robin 或 Sticky Partitioner。
- 分区数量选择:
- 吞吐量:分区数 = 期望吞吐量 / 单分区吞吐量。
- 通常:每个分区支持10MB/s写入,100MB/s读取。
- 不宜过多:分区多增加文件句柄、Leader选举开销、内存占用。
- 分区迁移:
kafka-reassign-partitions工具重新分配分区。
- 面试要点:分区数的选择需要平衡吞吐量和资源开销。
Kafka的存储机制?
★★★★☆
- 日志目录:
/tmp/kafka-logs/<topic>-<partition>/。
- 日志分段(LogSegment):
- 每个Segment由
.log(消息数据)+ .index(稀疏索引)+ .timeindex(时间索引)组成。
- 默认1GB一个Segment(
log.segment.bytes)。
- 稀疏索引:不是每条消息都有索引,每4KB建立一个索引项(
log.index.interval.bytes)。
- 消息查找:
1. 二分查找.index文件找到最近的offset。
2. 从该位置顺序扫描.log文件。
- 面试要点:理解LogSegment + 稀疏索引的存储设计。
Kafka的Offset管理?
★★★★☆
- Consumer Offset:记录消费者消费到的位置。
- 存储:
__consumer_offsets内部Topic(Kafka 0.9+),之前存在ZK。
- 自动提交:
enable.auto.commit=true,每5秒自动提交(auto.commit.interval.ms)。
- 手动提交:
commitSync():同步提交,阻塞直到成功。
commitAsync():异步提交,不阻塞但可能失败。
- 精确一次消费:手动提交 + 幂等消费。
- 面试要点:自动提交可能导致消息丢失或重复——生产环境建议手动提交。
Kafka的消费者组(Consumer Group)?
★★★★★
- 消费者组内的Consumer分担Topic的Partition。
- 规则:一个Partition只能被组内的一个Consumer消费。
- Rebalance:Consumer加入/离开组时重新分配Partition。
- 分配策略:
RangeAssignor:按范围分配(默认)。
RoundRobinAssignor:轮询分配。
StickyAssignor:粘性分配(尽量保持原有分配不变)。
CooperativeStickyAssignor:增量协作式重平衡(Kafka 2.4+)。
- Rebalance问题:
- 全量Rebalance期间所有Consumer停止消费(Stop The World)。
- 解决:使用CooperativeStickyAssignor + 减少Rebalance触发。
- 面试要点:理解Rebalance的触发条件和影响。
Kafka的消息模型?
★★★★☆
- 点对点(Queue):一条消息只能被一个Consumer消费。
- 发布/订阅(Topic):一条消息可以被多个Consumer Group消费。
- Kafka同时支持两种模型:
- 同一Consumer Group内:点对点(负载均衡)。
- 不同Consumer Group间:发布/订阅(广播)。
- Consumer Group ID决定了消费模式。
- 面试要点:Kafka通过Consumer Group同时支持两种消息模型。
KRaft模式(无ZooKeeper)?
★★★★☆
- Kafka 3.3+支持KRaft(Kafka Raft Metadata)模式,不再依赖ZooKeeper。
- 优势:
- 架构简化:不再需要维护ZK集群。
- 元数据管理更高效:元数据存储在内部Topic
@metadata。
- 扩展性更好:支持更多Partition(百万级)。
- Controller节点:Raft选举产生Controller,管理集群元数据。
- 迁移:Kafka 3.6+支持从ZK模式在线迁移到KRaft模式。
- 面试要点:KRaft是Kafka的未来——了解迁移路径。
二、Kafka高可靠(9-18)
Kafka的副本机制?
★★★★★
- 每个Partition有多个副本(Replica),分布在不同Broker上。
- Leader Replica:处理所有读写请求。
- Follower Replica:从Leader同步数据(不对外服务)。
- ISR(In-Sync Replicas):与Leader保持同步的副本集合。
- LEO(Log End Offset):每个副本的最大Offset。
- HW(High Watermark):所有ISR中最小的LEO,Consumer只能看到HW之前的消息。
- 面试要点:理解Leader/Follower + ISR + HW的关系。
Kafka的ACK机制?
★★★★★
- Producer的
acks参数控制消息确认级别:
acks=0:不等确认,直接发送下一条(最快,可能丢消息)。
acks=1:Leader写入成功即确认(默认,Leader宕机可能丢)。
acks=all(或-1):所有ISR副本写入成功才确认(最安全,最慢)。
- 配合参数:
min.insync.replicas=2:ISR中最少有2个副本才允许写入。
replication.factor=3:每个Partition 3个副本。
- 推荐配置:
acks=all + min.insync.replicas=2 + replication.factor=3。
- 面试要点:
acks=all是生产环境的必选配置。
Kafka的Leader选举?
★★★★☆
- Controller:集群中有一个Broker被选为Controller(通过ZK/KRaft选举)。
- Partition Leader选举:
- Leader宕机 → Controller从ISR中选择新的Leader。
- 优先选择ISR中的第一个存活的副本。
- 如果ISR为空:
unclean.leader.election.enable=false(默认):Partition不可用。
unclean.leader.election.enable=true:允许非ISR副本成为Leader(可能丢数据)。
- Preferred Leader:优先选择首选副本(均匀分布Leader)。
- 自动均衡:
auto.leader.rebalance.enable=true。
- 面试要点:
unclean.leader.election.enable是数据安全的关键配置。
Kafka Exactly-Once语义?
★★★★★
- 三种语义:
- At Most Once:消息可能丢失但不重复(
acks=0或自动提交Offset)。
- At Least Once:消息不丢失但可能重复(
acks=all + 手动提交Offset)。
- Exactly Once:消息不丢失不重复。
- Kafka Exactly Once实现:
- Producer幂等:
enable.idempotence=true,通过Producer ID + Sequence Number去重。
- Transaction:
transactional.id,保证Consume-Transform-Produce的原子性。
- Consumer端:读取只有Commit过的消息(
isolation.level=read_committed)。
producer.initTransactions();
producer.beginTransaction();
producer.send(record);
producer.sendOffsetSync(offsets, consumerGroupId);
producer.commitTransaction();
- 面试要点:Kafka的Exactly Once是"端到端"的——Producer + Broker + Consumer三方配合。
Kafka消息丢失的防护?
★★★★★
- Producer端:
acks=all:等待所有ISR确认。
retries=MAX_INT:无限重试。
enable.idempotence=true:防止重试导致重复。
max.in.flight.requests.per.connection=5(配合幂等)。
- Broker端:
min.insync.replicas=2:至少2个副本确认。
unclean.leader.election.enable=false:禁止脏选举。
replication.factor=3:3副本。
- Consumer端:
- 手动提交Offset(
enable.auto.commit=false)。
- 消费处理完成后才提交Offset。
- 面试要点:从Producer/Broker/Consumer三端分析消息丢失防护。
Kafka消息重复的原因与处理?
★★★★☆
- 原因:
- Producer重试导致重复发送。
- Consumer处理完消息但Offset未提交就宕机。
- Rebalance导致重复消费。
- 防护:
- Producer端:
enable.idempotence=true。
- Consumer端:幂等消费(唯一ID去重、数据库唯一约束、状态机)。
- 业务层:每条消息携带唯一Message Key。
- 面试要点:消息重复是分布式系统的常态——必须设计幂等消费。
Kafka消息顺序性保证?
★★★★★
- Kafka保证:同一Partition内的消息是有序的。
- 不保证:跨Partition的消息顺序。
- 如何保证全局有序:
- 方法1:只有一个Partition(牺牲并行度)。
- 方法2:相同业务Key发送到同一Partition(
hash(key) % partitions)。
- 方法3:使用
max.in.flight.requests.per.connection=1(配合enable.idempotence可以放宽到5)。
- 注意:Producer重试可能导致乱序——启用幂等性可以防止。
- 面试要点:Kafka只保证Partition内有序——跨Partition需要应用层处理。
Kafka的压缩?
★★★★☆
- Producer端压缩,Consumer端解压。
- 压缩算法对比:
gzip:压缩比最高,CPU消耗大。
snappy:压缩比中等,速度快(推荐)。
lz4:压缩比中等,速度最快。
zstd:压缩比高,速度快(Kafka 2.1+,推荐替代gzip)。
- 配置:
compression.type=zstd。
- 批量压缩:批量消息一起压缩,压缩效率更高。
- 面试要点:zstd是当前推荐的压缩算法。
Kafka的日志保留策略?
★★★★☆
- 基于时间:
log.retention.hours=168(默认7天)。
- 基于大小:
log.retention.bytes=1073741824(每个Partition最大1GB)。
- 基于日志压缩(Log Compaction):
- 保留每个Key的最新Value,删除旧Value。
- 适用场景:Change Log、最新状态(如
__consumer_offsets)。
- 配置:
log.cleanup.policy=compact。
- 删除策略:
delete:直接删除过期Segment文件。
compact:压缩保留最新Value。
- 面试要点:理解三种保留策略和Log Compaction。
Kafka的延迟队列?
★★★☆☆
- Kafka本身不支持延迟消息。
- 实现方案:
- 方案1:多层Topic(delay_5s → delay_30s → delay_5min → target)。
- 方案2:时间轮(自定义Consumer + DelayQueue)。
- 方案3:外部调度器(定时任务扫描延迟消息表 → 发送到Kafka)。
- 推荐:如果延迟消息是核心需求,使用RocketMQ(原生支持18级延迟)。
- 面试要点:Kafka不适合延迟消息场景——需要变通实现。
三、Kafka性能调优(19-28)
Producer性能调优?
★★★★☆
- 批处理:
batch.size=16384(16KB),linger.ms=10(等待10ms凑批)。
- 缓冲区:
buffer.memory=33554432(32MB Producer缓冲区)。
- 压缩:
compression.type=lz4或zstd。
- 并行度:
max.in.flight.requests.per.connection=5。
- 重试:
retries=MAX_INT + enable.idempotence=true。
- 分区策略:合理设计Key保证均匀分布。
- 面试要点:
batch.size + linger.ms是Producer吞吐量调优的核心。
Consumer性能调优?
★★★★☆
- 批量拉取:
fetch.min.bytes=1MB、fetch.max.wait.ms=500ms。
- 并行消费:一个Consumer Group中Consumer数 = Partition数。
- 手动提交:
enable.auto.commit=false,减少不必要的Offset提交。
- 处理线程池:Consumer只负责拉取,业务处理用线程池并行。
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
ExecutorService.submit(() -> process(records));
}
- 面试要点:Consumer性能 = Partition并行度 + 批量拉取 + 异步处理。
Broker性能调优?
★★★★☆
- OS层面:
- 文件描述符:
ulimit -n 100000。
- PageCache:避免被其他进程占用。
swappiness=1:尽量不用Swap。
noatime:禁用文件访问时间更新。
- JVM层面:
- Heap:6-8GB(Kafka不用大Heap,依赖PageCache)。
- GC:G1GC。
- Kafka层面:
num.io.threads=8:IO线程数(=磁盘数)。
num.network.threads=3:网络线程数。
log.dirs=/disk1,/disk2:多磁盘分布。
num.recovery.threads.per.data.dir=2:恢复线程。
- 面试要点:Kafka性能依赖OS PageCache——不要给JVM太多内存。
Kafka的监控指标?
★★★★☆
- Broker指标:
BytesIn/Out:吞吐量。
MessagesIn:消息速率。
UnderReplicatedPartitions:未同步副本数(>0需要关注)。
OfflinePartitionsCount:离线分区数(>0是严重问题)。
ActiveControllerCount:Controller数量(必须=1)。
- Topic指标:
BytesIn/Out per Topic:各Topic吞吐量。
MessagesIn per Topic:各Topic消息速率。
- Consumer指标:
ConsumerLag:消费延迟(最关键指标)。
CommitRate:Offset提交频率。
- 工具:Kafka Exporter + Prometheus + Grafana、Cruise Control。
- 面试要点:UnderReplicatedPartitions和ConsumerLag是最关键的告警指标。
Kafka的分区迁移与均衡?
★★★★☆
- 场景:新增Broker后需要将部分分区迁移到新节点。
- 工具:
kafka-reassign-partitions --generate --execute --verify。
- 迁移计划JSON:指定每个Partition的目标副本列表。
- 注意事项:
- 迁移期间流量增加(数据复制)。
- 控制并发迁移数(
reassign.throttle)。
- 大规模迁移分批执行。
- Cruise Control:自动化的分区均衡工具(LinkedIn开源)。
- 面试要点:分区迁移需要限流,避免影响在线服务。
Kafka的幂等Producer?
★★★★☆
enable.idempotence=true开启幂等。
- 原理:
- Broker为每个Producer分配唯一PID(Producer ID)。
- 每条消息携带Sequence Number。
- Broker维护
<PID, Partition, SeqNum>映射,重复SeqNum的消息被丢弃。
- 限制:
- 只能保证单Partition单Session内的幂等(Producer重启PID会变)。
- 跨Partition不保证。
- 跨Session不保证。
- 如需跨Partition/跨Session幂等:使用Transaction。
- 面试要点:幂等Producer保证的是"单分区单会话"的去重。
Kafka的Consumer Lag监控?
★★★★☆
- Consumer Lag = Log End Offset - Consumer Offset(积压量)。
- 查看方式:
kafka-consumer-groups --describe --group <group>。
- Burrow(LinkedIn开源的Lag监控工具)。
- Kafka Exporter + Prometheus。
- 告警策略:
- Lag > 10000:Warning。
- Lag > 100000:Critical。
- Lag持续增长:可能消费能力不足。
- 处理Lag:
- 增加Consumer实例(不超过Partition数)。
- 优化消费逻辑。
- 扩容Partition。
- 面试要点:Consumer Lag是Kafka运维的核心指标。
Kafka Connect?
★★★★☆
- Kafka Connect是Kafka的数据集成框架。
- Source Connector:从外部系统读取数据写入Kafka(JDBC、S3、MongoDB)。
- Sink Connector:从Kafka读取数据写入外部系统(Elasticsearch、HDFS、JDBC)。
- 特性:
- 分布式和单机模式。
- Offset管理(自动记录同步位置)。
- Schema Registry集成(Avro/JSON Schema)。
- Exactly-Once语义。
- Debezium:基于Kafka Connect的CDC框架(MySQL/PostgreSQL → Kafka)。
- 面试要点:Kafka Connect是数据管道的标准工具。
Kafka Streams?
★★★★☆
- Kafka Streams是Kafka的流处理库(轻量级,不需要集群)。
- 核心概念:
- KStream:事件流(每条记录独立)。
- KTable:变更日志(每个Key保留最新值)。
- GlobalKTable:全局广播表。
- 操作:
- 无状态:
filter、map、flatMap、branch。
- 有状态:
aggregate、count、reduce、window。
- Join:KStream-KStream、KStream-KTable、KStream-GlobalKTable。
- vs Flink:Kafka Streams轻量,适合Kafka生态内的流处理;Flink功能更全。
- 面试要点:Kafka Streams适合"只需要处理Kafka数据"的轻量场景。
Schema Registry?
★★★★☆
- Schema Registry管理Kafka消息的Schema(Avro/JSON/Protobuf)。
- 核心功能:
- Schema版本管理。
- 兼容性检查(向前兼容/向后兼容/完全兼容)。
- Schema ID与消息关联。
- 消息格式:
[Magic Byte][Schema ID][Avro/JSON Data]。
- 优势:
- 消费者可以根据Schema ID反序列化消息。
- Schema变更时自动检查兼容性。
- 减少消息体积(只发送Schema ID,不发送完整Schema)。
- 实现:Confluent Schema Registry(最常用)、Apicurio Registry。
- 面试要点:Schema Registry是Kafka生产环境的标配。
四、RocketMQ vs Kafka(29-35)
RocketMQ vs Kafka对比?
★★★★★
- 架构:
- Kafka:Broker + ZooKeeper/KRaft,每个Broker存储多个Partition。
- RocketMQ:NameServer + Broker,每个Broker存储多个Queue。
- 消息模型:
- Kafka:Topic → Partition,Consumer Group消费。
- RocketMQ:Topic → Queue,Consumer Group消费。
- 功能差异:
- 延迟消息:RocketMQ原生支持(18级),Kafka不支持。
- 事务消息:RocketMQ原生支持(半消息),Kafka只支持内部事务。
- 消息过滤:RocketMQ支持Tag + SQL92过滤,Kafka只支持Consumer端过滤。
- 消息回溯:RocketMQ支持按时间回溯,Kafka通过Offset重置实现。
- 死信队列:RocketMQ内置DLQ,Kafka需要自定义。
- 性能:
- Kafka:百万级TPS,适合大数据/日志场景。
- RocketMQ:十万级TPS,适合业务消息/交易场景。
- 面试要点:Kafka适合大数据场景,RocketMQ适合业务消息场景。
RocketMQ的事务消息详解?
★★★★☆
1. Producer发送半消息到Broker。
2. Broker存储半消息(对Consumer不可见)。
3. Broker返回确认 → Producer执行本地事务。
4. Producer根据本地事务结果,发送Commit或Rollback。
5. 如果未收到确认(网络断开),Broker回查Producer(最多15次)。
6. Producer返回事务状态 → Broker提交或回滚半消息。
- 回查接口:
TransactionListener.checkLocalTransaction()。
- 面试要点:事务消息 = 半消息 + 本地事务 + 回查三步。
RocketMQ的顺序消息?
★★★★☆
- 全局顺序:一个Topic只有一个Queue(牺牲并行度)。
- 分区顺序:相同OrderID的消息发送到同一Queue(
MessageQueueSelector)。
producer.send(msg, new MessageQueueSelector() {
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Long orderId = (Long) arg;
long index = orderId % mqs.size();
return mqs.get((int) index);
}
}, orderId);
- Consumer使用
MessageListenerOrderly保证单Queue串行消费。
- 面试要点:RocketMQ通过Queue级别的锁定实现顺序消费。
RocketMQ的消息过滤?
★★★★☆
- Tag过滤:
Consumer.subscribe("Topic", "TagA || TagB")。
- SQL92过滤:
Consumer.subscribe("Topic", MessageSelector.bySql("age > 18 AND region = 'CN'"))。
- 过滤发生在Broker端(不需要Consumer拉取所有消息)。
- 面试要点:Broker端过滤减少网络传输——这是RocketMQ的效率优势。
RabbitMQ vs Kafka vs RocketMQ?
★★★★★
- RabbitMQ:
- 语言:Erlang。
- 特点:路由灵活(Exchange类型多)、确认机制完善。
- 适用:企业集成、复杂路由、中小规模。
- 吞吐量:万级TPS。
- Kafka:
- 语言:Scala/Java。
- 特点:高吞吐、持久化、大数据生态。
- 适用:日志、大数据、流处理。
- 吞吐量:百万级TPS。
- RocketMQ:
- 语言:Java。
- 特点:事务消息、延迟消息、消息过滤。
- 适用:电商、金融、业务消息。
- 吞吐量:十万级TPS。
- 面试要点:根据业务场景(路由/吞吐/功能)选择MQ。
消息队列的选型决策?
★★★★☆
- 日志采集/大数据:Kafka(高吞吐、与大数据生态集成)。
- 业务消息/交易:RocketMQ(事务消息、延迟消息、Tag过滤)。
- 企业集成/复杂路由:RabbitMQ(Exchange路由、协议支持)。
- 云原生/K8s:NATS(超轻量)或Pulsar(存储计算分离)。
- 面试要点:没有最好的MQ——只有最适合业务场景的MQ。
Pulsar — 新一代消息队列?
★★★☆☆
- Apache Pulsar是下一代消息队列。
- 核心特性:
- 存储计算分离:Broker无状态 + BookKeeper持久化。
- 多租户:原生支持多租户隔离。
- 多协议:Kafka/RocketMQ协议兼容。
- 分层存储:热数据SSD + 冷数据S3。
- Geo-Replication:跨地域复制。
- vs Kafka:Pulsar更现代化(存储计算分离),但生态不如Kafka成熟。
- 面试要点:了解Pulsar的存储计算分离架构。
五、面试综合设计题(36-50)
设计一个Kafka集群方案?
★★★★★
- 需求:日处理10亿消息,峰值TPS 5万。
- 方案:
- Broker:6节点(3主3从)。
- Partition:30个(每主节点10个Partition,单Partition TPS约5000)。
- 副本:3副本(
replication.factor=3)。
min.insync.replicas=2 + acks=all。
- 消费者:Consumer Group内30个Consumer(=Partition数)。
- 监控:Kafka Exporter + Prometheus + Grafana。
- 存储:每节点2TB SSD(支持7天数据保留)。
- 面试要点:能根据吞吐量需求计算Partition数和Broker数。
Kafka集群扩容方案?
★★★★☆
- 场景:从3 Broker扩容到6 Broker。
- 步骤:
1. 部署新Broker节点。
2. 更新新Broker的server.properties配置。
3. 启动新Broker(自动加入集群)。
4. 生成迁移计划:kafka-reassign-partitions --generate。
5. 执行迁移:kafka-reassign-partitions --execute(限速)。
6. 验证迁移:kafka-reassign-partitions --verify。
- 注意:
- 迁移期间限速(
--throttle)。
- 分批迁移(先迁移非核心Topic)。
- 监控Consumer Lag和Broker负载。
- 面试要点:扩容 = 新节点 + 分区迁移 + 限速。
Kafka消息积压处理方案?
★★★★★
- 排查原因:
- Consumer是否有异常(日志、GC、网络)。
- 消费逻辑是否变慢(DB慢查询、下游超时)。
- Partition数是否足够。
- 是否发生了Rebalance。
- 处理方案:
1. 紧急扩容:增加Consumer实例(不超过Partition数)。
2. 临时Topic转发:积压消息转发到新Topic(更多Partition + 更多Consumer)。
3. 批量消费:增加fetch.max.bytes和max.poll.records。
4. 跳过非关键消息:记录日志后直接ACK。
5. 扩容Partition:增加Partition数(注意不能减少)。
- 预防:
- 监控Consumer Lag + 告警。
- 压测验证消费能力。
- 合理设计Partition数。
- 面试要点:消息积压 = 排查原因 + 紧急扩容 + 长期预防。
Kafka的Exactly-Once端到端方案?
★★★★★
- 场景:从Kafka读取 → 处理 → 写入Kafka。
- 方案:
1. Producer配置:
enable.idempotence=true。
transactional.id=unique-txn-id。
2. Consumer配置:
isolation.level=read_committed。
- 手动提交Offset。
3. 流程:
producer.initTransactions();
consumer.subscribe(topic);
while (true) {
records = consumer.poll();
producer.beginTransaction();
for (record : records) {
result = process(record);
producer.send(new ProducerRecord(outputTopic, result));
}
producer.sendOffsetSync(offsets, groupId);
producer.commitTransaction();
}
- 面试要点:Exactly-Once需要Producer事务 + Consumer手动提交 + Offset绑定事务。
Kafka的安全机制?
★★★★☆
- 认证(Authentication):
- SASL/PLAIN:用户名密码。
- SASL/SCRAM:动态用户名密码(ZK存储)。
- SASL/GSSAPI(Kerberos):企业级认证。
- mTLS:双向TLS证书认证。
- 授权(Authorization):
- ACL(Access Control List):
kafka-acls.sh --add --allow --operation Read --topic test --principal User:alice。
- 基于RFC的RBAC(Confluent Enterprise)。
- 加密:
- TLS:Broker间和Client-Broker间通信加密。
- 数据加密:配置
ssl.keystore和ssl.truststore。
- 面试要点:Kafka安全 = SASL认证 + ACL授权 + TLS加密。
Kafka的跨数据中心复制?
★★★★☆
- MirrorMaker 2(MM2):Kafka内置的跨集群复制工具。
- 功能:
- Topic配置同步。
- Offset转换(源集群Offset → 目标集群Offset)。
- ACL同步。
- Checkpoint同步。
- 配置:定义Source和Target集群 → MM2自动创建MirrorTopic。
- 场景:灾备、多活、数据迁移。
- 注意:MM2是单向复制,双向复制需要两个MM2实例。
- 面试要点:MirrorMaker 2是Kafka跨数据中心的标准工具。
Kafka的Connector开发?
★★★☆☆
- 自定义Source Connector:继承
SourceConnector + SourceTask。
- 自定义Sink Connector:继承
SinkConnector + SinkTask。
- 核心方法:
start():初始化连接。
poll()(Source)/ put()(Sink):数据读写。
stop():清理资源。
- 打包:JAR → 放入
plugins/目录。
- 面试要点:了解Connector的开发模式。
Kafka在大数据管道中的角色?
★★★★☆
- Lambda架构:
- Batch Layer:HDFS/Spark批处理。
- Speed Layer:Kafka + Flink/Spark Streaming实时处理。
- Serving Layer:查询服务。
- Kappa架构:
- 所有数据通过Kafka,只保留实时处理层。
- 重算:从Kafka回溯消费。
- 工具链:Kafka Connect(数据采集) → Kafka → Flink/Spark(处理) → Kafka/HDFS(存储)。
- 面试要点:Kafka是大数据管道的"中枢神经"。
Kafka的积压告警设计?
★★★★☆
- 监控工具:
kafka-consumer-groups脚本(手动)。
- Burrow(自动化Lag监控)。
- Kafka Exporter + Prometheus(Metrics暴露)。
- 告警策略:
- 绝对值:Lag > 100000 Critical。
- 趋势:Lag连续增长超过5分钟 Warning。
- 比率:Lag / Consumer速率 > 5分钟 Warning。
- 响应流程:
1. 告警触发 → 检查Consumer状态。
2. 确认是否需要扩容。
3. 临时处理(增加Consumer/跳过非关键消息)。
4. 根因分析。
- 面试要点:积压告警 = 监控 + 策略 + 响应流程。
Spring Boot + Kafka集成最佳实践?
★★★★☆
- 依赖:
spring-kafka。
- Producer配置:
spring.kafka.producer:
bootstrap-servers: kafka:9092
acks: all
retries: 10
properties.enable.idempotence: true
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
spring.kafka.consumer:
group-id: my-service
auto-offset-reset: earliest
enable-auto-commit: false
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer
- 注解:
@KafkaListener(topics = "my-topic", groupId = "my-group")。
- 面试要点:生产环境配置手动提交 + 幂等Producer。
Kafka的压测方法?
★★★☆☆
- Producer压测:
kafka-producer-perf-test --topic test --num-records 1000000 --record-size 1024 --throughput -1。
- Consumer压测:
kafka-consumer-perf-test --topic test --messages 1000000。
- 关键指标:
- 吞吐量(MB/s和records/s)。
- 平均延迟。
- P99延迟。
- CPU/内存/磁盘IO/网络IO。
- 压测建议:逐步增加负载,找到系统的吞吐量上限。
- 面试要点:能使用Kafka自带工具进行基准测试。
Kafka的故障演练?
★★★★☆
- Broker宕机:
- 验证Leader切换是否正常。
- 验证Consumer是否继续消费。
- 验证消息是否丢失。
- 网络分区:
- 验证ISR缩减和恢复。
- 验证Controller切换。
- 磁盘故障:
- 验证数据恢复。
- 验证日志Segment修复。
- 工具:Chaos Monkey、Litmus Chaos。
- 面试要点:故障演练是Kafka生产运维的必要环节。
Kafka的数据治理?
★★★☆☆
- Topic管理:
- 命名规范:
<team>.<domain>.<event>.<version>。
- TTL策略:根据数据价值设置保留时间。
- 分区策略:按业务量合理分区。
- Schema管理:
- Schema Registry强制Schema校验。
- 兼容性策略:BACKWARD(默认)。
- 数据质量:
- Schema校验:消息必须符合Schema。
- 监控:消息大小、消息速率异常。
- 面试要点:Kafka数据治理 = Topic规范 + Schema管理 + 质量监控。
面试设计题:设计一个订单消息系统?
★★★★★
- 需求:日订单100万,峰值TPS 5000。
- Topic设计:
order.created:订单创建事件。
order.paid:支付成功事件。
order.shipped:发货事件。
order.completed:完成事件。
- 分区策略:
hash(orderId) % partitions(相同订单在同一分区,保证顺序)。
- 分区数:10个(单Partition TPS约2000,10个可支持2万TPS)。
- 消费者:
- 库存服务:消费
order.created扣库存。
- 物流服务:消费
order.paid创建运单。
- 通知服务:消费所有事件发通知。
- 一致性:
- 事务消息保证订单创建和消息发送的原子性。
- 幂等消费(每个orderId + event type唯一)。
- 面试要点:Topic设计 + 分区策略 + 消费者组设计 + 一致性保证。
面试设计题:Kafka多集群多活架构?
★★★★★
- 场景:北京和上海双机房,两地同时生产消息。
- 架构:
1. 每个机房独立Kafka集群。
2. MirrorMaker 2双向同步。
3. Consumer消费本地集群。
4. Producer发送到本地集群。
- 关键设计:
- Topic命名:
<region>.<topic>(区分来源)。
- Offset映射:MM2维护源→目标的Offset映射。
- 循环消费:MM2配置
replication.policy.class避免消息循环。
- 监控:每个集群独立监控 + 跨集群同步延迟监控。
- 灾备:
- 单机房故障 → 另一机房接管全部流量。
- 消费者切换到另一机房。
- DNS/负载均衡器切换。
- 面试答题模板:双集群 → 双向同步 → 监控 → 灾备切换。