Q34 - 大数据存储与协调深入
一、MongoDB深入(1-14)
MongoDB的存储引擎和索引原理?
★★★★★
- WiredTiger引擎(默认):文档级并发控制、压缩存储(Snappy/ZSTD)、B+树索引。
- 索引类型:单字段索引、复合索引、多键索引(数组字段)、文本索引、地理空间索引(2dsphere)、哈希索引、TTL索引(自动过期)。
- 复合索引最左前缀:{a:1, b:1, c:1}支持{a}、{a,b}、{a,b,c}查询,不支持{b}或{c}。
- ESR规则:Equal(等值)→ Sort(排序)→ Range(范围),复合索引字段按ESR排列。
- 覆盖索引:查询字段全部在索引中,无需回表。explain()的totalDocsExamined=0。
MongoDB的副本集(Replica Set)架构?
★★★★★
- 角色:Primary(读写)+ Secondary(同步Primary数据,可配置为隐藏/延迟)+ Arbiter(投票,不存数据)。
- 同步机制:Primary写入Oplog→Secondary异步拉取Oplog重放。
- 自动故障转移:Primary不可用时,剩余节点投票选举新Primary(多数派)。
- 选举条件:获得多数票(N/2+1)、节点priority>0、数据不落后太多。
- 读写关注:Read Preference(primary/primaryPreferred/secondary/secondaryPreferred/nearest)。
- Write Concern:w:1(默认,确认Primary写入)/ w:majority(确认多数节点写入)/ w:3(确认3个节点写入)。
- 面试要点:副本集的核心是"Oplog异步复制 + Raft变体选举",保证高可用。
MongoDB的分片集群(Sharded Cluster)?
★★★★
- 组件:Config Server(元数据)+ mongos(路由)+ Shard(数据分片,每个Shard是副本集)。
- 分片键(Shard Key):决定数据如何分布,选择不当会导致数据倾斜。
- 分片策略:(1) 范围分片——按Shard Key范围划分,支持范围查询但可能不均匀;(2) 哈希分片——按hash(Shard Key)分布,数据均匀但不支持范围查询。
- Chunk:数据按分片键切分为Chunk(默认64MB),当Chunk大小不均时自动Balancer迁移。
- 面试要点:分片键选择是关键——高基数字段做哈希分片(均匀)、范围查询字段做范围分片。
MongoDB的事务支持?
★★★★
- 多文档事务(4.0+):副本集支持多文档ACID事务。
- 分布式事务(4.2+):分片集群支持跨Shard的分布式事务(两阶段提交)。
- 使用场景:跨集合的数据一致性(如转账、订单创建+库存扣减)。
- 事务限制:事务超时默认60秒、不支持超过16MB的Oplog条目、影响性能。
- 最佳实践:能用单文档原子操作(findAndModify/embedded document)就不用事务。
MongoDB的聚合管道(Aggregation Pipeline)?
★★★★
- 管道阶段:$match(过滤)→ $group(分组聚合)→ $sort(排序)→ $limit → $project(投影)→ $lookup(关联查询)→ $unwind(展开数组)→ $facet(多管道并行)。
- $lookup(类似SQL JOIN):
db.orders.aggregate([
{$lookup: {from: "users", localField: "userId", foreignField: "_id", as: "user"}},
{$unwind: "$user"}
])
- 性能优化:$match尽量放前面减少数据量;$group前用$match过滤;利用索引加速$match和$sort。
- 面试要点:聚合管道是MongoDB的核心分析能力,$lookup实现关联查询。
MongoDB的模式设计最佳实践?
★★★★
- 内嵌文档(Embed):一对一和一对少量关系——如用户信息中嵌入地址。
- 引用(Reference):一对多和多多关系——如订单引用用户ID。
- 反范式(Denormalization):用冗余换查询性能——如订单中嵌入用户名称。
- 大文档问题:文档最大16MB,超过需拆分或用GridFS。
- 模式版本:schema_version字段标记文档结构版本,应用层做兼容处理。
MongoDB的性能调优?
★★★★
- 慢查询分析:db.setProfilingLevel(1, {slowms: 100})记录超过100ms的操作。
- explain()分析:queryPlanner(执行计划)、executionStats(执行统计,关注totalDocsExamined)。
- 索引优化:确保查询走索引(IXSCAN而非COLLSCAN),复合索引遵循ESR规则。
- 内存优化:WiredTiger Cache Size默认(max(256MB, 50%物理内存-1GB))。
- 写性能:批量写入(bulkWrite)、合理Write Concern、减少索引数量。
MongoDB与MySQL的对比?
★★★★
- 数据模型:MongoDB文档型(灵活Schema),MySQL关系型(严格Schema)。
- 事务:MySQL原生强ACID事务,MongoDB 4.0+支持但性能有损耗。
- 查询:MongoDB聚合管道灵活,MySQL JOIN和复杂SQL更强。
- 扩展:MongoDB原生支持水平分片,MySQL分库分表需中间件(ShardingSphere)。
- 适用场景:MongoDB——日志、IoT数据、内容管理、快速迭代的产品;MySQL——金融交易、ERP、强一致性业务。
- 面试要点:不是谁替代谁,而是各有所长。很多系统同时使用两种数据库。
MongoDB的Change Streams?
★★★
- 概念:基于Oplog的实时变更监听,类似MySQL的Binlog监听。
- 用法:db.collection.watch([pipeline], options)监听集合的INSERT/UPDATE/DELETE。
- 应用场景:(1) 实时数据同步(MongoDB→Elasticsearch);(2) 实时通知;(3) 审计日志。
- Java集成:MongoChangeStreamListener + Spring Data MongoDB。
- 注意:Change Streams需要副本集或分片集群(需要Oplog)。
MongoDB的安全配置?
★★★
- 认证:开启auth,创建admin用户,使用SCRAM-SHA-256认证。
- 角色:read/readWrite/dbAdmin/userAdmin/clusterAdmin等内置角色。
- TLS/SSL:生产环境必须开启TLS加密通信。
- 网络隔离:只允许应用服务器访问MongoDB端口,不暴露公网。
- 审计日志:开启auditLog记录所有操作,满足合规要求。
MongoDB的备份和恢复?
★★★
- mongodump/mongorestore:逻辑备份,适合小数据量。
- 文件系统快照:LVM/云盘快照,适合大数据量快速备份。
- Oplog增量备份:全量备份+Oplog增量,最小化RPO。
- MongoDB Cloud Manager/Ops Manager:自动备份,企业首选。
- 恢复策略:全量恢复+Oplog重放到指定时间点(PITR)。
Spring Data MongoDB的使用?
★★★★
- 依赖:spring-boot-starter-data-mongodb。
- Repository:MongoRepository<T, ID>提供CRUD,支持自定义查询方法(findByUsername)。
- MongoTemplate:灵活的API,支持Criteria查询、聚合管道、批量操作。
- 索引自动创建:@Indexed、@CompoundIndex注解在Entity类上。
- 转换器:自定义Converter处理复杂类型(如LocalDateTime↔Date)。
- 面试要点:简单CRUD用Repository,复杂查询用MongoTemplate。
MongoDB的GridFS?
★★★
- 概念:存储大文件(>16MB)的规范,将文件切分为多个Chunk(255KB)存储在fs.chunks集合。
- 元数据:存储在fs.files集合,包含文件名、长度、MD5、contentType等。
- 使用场景:图片/视频/大文件存储,适合不需要频繁修改的文件。
- Java API:GridFsTemplate.store()/findOne()/delete()。
- 对比对象存储:GridFS适合小规模使用,大规模文件存储用MinIO/OSS/S3。
MongoDB的生产运维经验?
★★★★
- 监控:mongostat(实时统计)、mongotop(读写耗时)、Cloud Manager仪表盘。
- 关键指标:连接数、页面错误率、Oplog窗口时间、复制延迟、慢查询数量。
- 常见问题:(1) 连接数耗尽→配置连接池+最大连接数;(2) 内存不足→WiredTiger Cache溢出→调大或加物理内存;(3) 锁竞争→文档级并发,一般不是问题。
- 索引维护:定期检查未使用索引($indexStats)、碎片整理(compact命令)。
二、ZooKeeper深入(15-24)
ZooKeeper的数据模型和节点类型?
★★★★★
- 数据模型:树形命名空间,每个节点(ZNode)可以存储数据(默认最大1MB)和子节点。
- 持久节点(Persistent):创建后永久存在,直到主动删除。
- 临时节点(Ephemeral):与客户端会话绑定,会话结束(断连)则自动删除。
- 顺序节点(Sequential):节点名自动追加递增序号,如lock-0000000001。
- 容器节点(Container):最后一个子节点删除时自动删除(3.6+)。
- 面试要点:临时节点是服务注册(临时节点)和分布式锁(临时顺序节点)的基础。
ZooKeeper的Watcher机制?
★★★★
- 概念:客户端在ZNode上注册Watcher,ZNode数据/子节点/状态变更时通知客户端。
- 特点:一次性触发——通知一次后失效,需要重新注册。
- 事件类型:NodeCreated、NodeDeleted、NodeDataChanged、NodeChildrenChanged。
- 实现:Exists/GetData/GetChildren三个API可以注册Watcher。
- Curator封装:PathChildrenCache/TreeCache/NodeCache实现持续监听(自动重新注册)。
- 面试要点:Watcher的一次性触发是面试高频问题,必须知道如何用Curator解决。
ZooKeeper的ZAB协议?
★★★★★
- ZAB(ZooKeeper Atomic Broadcast):为ZooKeeper设计的崩溃可恢复的原子广播协议。
- 两种模式:(1) 消息广播模式(正常工作)——Leader将Proposal广播给所有Follower,过半ACK后Commit;(2) 崩溃恢复模式(Leader选举)——选举新Leader,数据同步。
- 选举规则:(1) epoch最大的优先;(2) epoch相同则zxid最大的优先;(3) 都相同则myid最大的优先。
- 数据同步:新Leader当选后,确保所有Follower的数据与Leader一致(ZXID对齐)。
- 面试要点:ZAB vs Raft——两者都是Leader-based共识协议,ZAB有"崩溃恢复+消息广播"两阶段。
ZooKeeper实现的分布式锁?
★★★★★
- 排他锁:创建临时节点/lock,创建成功的获得锁,失败的Watch /lock的删除事件重试。
- 羊群效应(Herd Effect):大量客户端同时监听一个节点,释放锁时全部被唤醒但只有一个能获得。
- 改进(公平锁):创建临时顺序节点/lock-0000000xxx,序号最小的获得锁,每个客户端只Watch前一个节点。
- Curator InterProcessMutex:封装了上述逻辑,直接使用即可。
InterProcessMutex lock = new InterProcessMutex(client, "/locks/order");
lock.acquire();
try { /* 业务逻辑 */ } finally { lock.release(); }
- 面试要点:能画出分布式锁的流程图,解释临时顺序节点如何避免羊群效应。
ZooKeeper的会话机制?
★★★★
- 会话创建:客户端连接ZK时创建Session,获得唯一的Session ID。
- 心跳保活:客户端定时发送PING(默认tickTime,2秒),超过2×tickTime+maxTimeout则会话失效。
- 临时节点与会话绑定:会话失效时,该会话创建的所有临时节点自动删除。
- 会话状态:CONNECTING→CONNECTED→CLOSED/EXPIRED。
- Session Moved:客户端重连到不同的ZK服务器,新服务器需要接管会话。
ZooKeeper的集群角色?
★★★★
- Leader:处理写请求(Proposal→广播→Commit)、参与读请求。
- Follower:处理读请求、参与写请求的投票(ACK Proposal)、参与Leader选举。
- Observer:处理读请求、不参与投票(提升读性能)、不参与选举。
- 写流程:Client→Follower转发→Leader Proposal→过半Follower ACK→Leader Commit→响应Client。
- 读流程:Client→任意Follower/Observer直接响应(可能读到旧数据)。
- 面试要点:写请求必须经过Leader,读请求任意节点可响应(最终一致性)。
ZooKeeper的ACL权限控制?
★★★
- ACL格式:scheme:id:permissions。
- Scheme:world(任何人)、auth(已认证用户)、digest(用户名密码)、ip(IP地址)。
- Permissions:CREATE(创建子节点)、READ(读取数据)、WRITE(写入数据)、DELETE(删除子节点)、ADMIN(设置ACL)。
- 默认:world:anyone:cdwar(所有人完全控制)。
- 生产建议:为敏感ZNode设置digest ACL,限制写入权限。
ZooKeeper的应用场景?
★★★★
- 服务注册与发现:服务启动创建临时节点,断线自动删除(Dubbo/Kafka的注册中心)。
- 分布式锁:临时顺序节点实现公平锁(Curator InterProcessMutex)。
- 配置中心:ZNode存储配置,Watcher监听变更(已逐渐被Nacos替代)。
- Leader选举:多个节点竞争创建临时节点,创建成功的为Leader。
- 分布式队列:临时顺序节点实现FIFO队列。
- 命名服务:顺序节点生成全局唯一ID。
- 面试要点:ZK的核心能力是"协调",不是存储,大量数据不应该存在ZK中。
ZooKeeper vs Nacos vs Eureka?
★★★★
- ZooKeeper:CP模型(强一致性),树形结构,适合分布式协调(锁/选举/配置)。
- Nacos:AP+CP混合,同时支持注册中心和配置中心,Spring Cloud Alibaba首选。
- Eureka:AP模型(高可用),Peer-to-Peer架构,已停止维护(2.x)。
- 选型建议:Spring Cloud Alibaba用Nacos(一站式),Dubbo/Kafka用ZK,新项目不用Eureka。
- 面试要点:CP vs AP的权衡——注册中心优先AP(可用性>一致性),分布式锁优先CP。
ZooKeeper的生产运维?
★★★
- 集群规模:3或5个节点(奇数,多数派选举)。
- 监控指标:延迟(latency)、包丢失率、临时节点数、Watch数量、文件描述符。
- 常见问题:(1) ZK连接超时→网络抖动/Leader负载高;(2) 临时节点未删除→Session未断开;(3) 事务日志磁盘满→清理策略。
- 调优:独立磁盘存事务日志、增大maxClientCnxns、调整tickTime和initLimit/syncLimit。
三、HBase深入(25-32)
HBase的数据模型和架构?
★★★★
- 数据模型:Table→RowKey→Column Family→Column Qualifier→Version(时间戳)。
- RowKey设计:决定数据分布和查询性能——散列分布(避免热点)、前缀有序(范围扫描)。
- Column Family:列族在创建表时定义(1-3个),同一列族的数据存在一起。
- HRegion:Table按RowKey范围切分为多个Region,Region是数据分片和负载均衡的基本单位。
- HMaster:管理Region分配、负载均衡、DDL操作。
- RegionServer:服务Region的读写请求,存储HFile,管理MemStore。
- 面试要点:HBase是"LSM-Tree"存储,写入先到MemStore→Flush到HFile→后台Compaction。
HBase的读写流程?
★★★★★
- 写流程:Client→ZK获取Meta表位置→查Meta定位RegionServer→写入WAL(预写日志)→写入MemStore→MemStore满时Flush到HFile。
- 读流程:Client→ZK→Meta→RegionServer→BlockCache(读缓存)→MemStore(未Flush数据)→HFile(持久化数据)→合并返回。
- LSM-Tree优势:写操作是顺序写(MemStore+WAL),性能远高于B+树的随机写。
- 读优化:BlockCache缓存热点数据、Bloom Filter快速判断HFile是否包含目标RowKey。
- 面试要点:HBase的"写快读慢"特性——写是追加,读需要合并多个HFile。
HBase的RowKey设计原则?
★★★★
- 散列原则:避免连续RowKey导致写入热点。加盐(Salt)——前缀加随机数;哈希——hash(userId)作为前缀。
- 长度原则:RowKey尽量短(10-100字节),减少存储和索引开销。
- 唯一原则:RowKey全局唯一。
- 查询优化:根据查询模式设计RowKey——按userId查询则userId做前缀;按时间范围则timestamp做后缀。
- 反转策略:手机号反转存储(13800138000→00008300831),散列同时支持前缀查询。
HBase的Compaction机制?
★★★★
- Minor Compaction:合并少量小HFile为大HFile,减少文件数量,提升读性能。
- Major Compaction:合并一个Region下某列族的所有HFile为一个HFile,清理过期和删除标记的数据。
- 触发条件:文件数量阈值/文件大小阈值/手动触发。
- 影响:Major Compaction期间IO密集,可能影响在线服务。建议在业务低峰期自动触发或手动触发。
- 配置:hbase.hstore.compactionThreshold(触发Minor的文件数)、hbase.hregion.majorcompaction(Major间隔)。
HBase的Region Split策略?
★★★
- 触发条件:Region大小超过阈值(默认10GB)时自动Split为两个子Region。
- Split策略:IncreasingToUpperBoundRegionSplitPolicy(默认,Region数越多阈值越大)、ConstantSizeRegionSplitPolicy(固定大小)、KeyPrefixRegionSplitPolicy(按RowKey前缀Split)。
- 预分区(Pre-splitting):建表时预先创建多个Region,避免初期写入热点。
- 面试要点:预分区是HBase性能优化的第一步,避免所有写入集中在一个Region。
HBase与关系型数据库的对比?
★★★★
- 数据模型:HBase是宽列存储(稀疏、无Schema),RDBMS是行列固定Schema。
- 事务:RDBMS支持ACID,HBase只支持行级原子性(单行操作原子)。
- 查询:RDBMS支持复杂SQL,HBase只支持RowKey查找和范围扫描。
- 扩展:HBase原生支持PB级水平扩展,RDBMS扩展需要分库分表。
- 适用场景:HBase——海量数据+高吞吐写入+简单查询(时序、日志、用户画像);RDBMS——复杂事务+复杂查询。
- 面试要点:HBase不是替代RDBMS,而是互补——RDBMS处理OLTP,HBase处理海量OLAP。
HBase的协处理器(Coprocessor)?
★★★
- 类比:类似RDBMS的触发器和存储过程。
- Observer类型:RegionObserver(Put/Get前后拦截)、MasterObserver(DDL操作拦截)。
- Endpoint类型:自定义RPC协议,在RegionServer端执行计算并返回结果(类似MapReduce)。
- 应用场景:二级索引维护(RegionObserver在Put时同步更新索引表)、权限控制、统计聚合。
- 注意:协处理器运行在RegionServer中,异常会影响整个RegionServer。
HBase的Phoenix SQL?
★★★
- 概念:在HBase上提供SQL接口,让应用用标准SQL查询HBase数据。
- 二级索引:Phoenix支持在非RowKey列上创建二级索引,加速非主键查询。
- JDBC兼容:标准JDBC接口,可对接各种BI工具。
- 局限:复杂Join性能不佳、不支持事务(除非配置)。
- 面试要点:Phoenix让HBase有SQL能力,但不适合替代关系型数据库。
四、Kafka深入(33-42)
Kafka的ISR机制?
★★★★★
- ISR(In-Sync Replicas):与Leader保持同步的副本集合。
- 同步标准:replica.lag.time.max.ms(默认10秒),超过该时间未拉取消息则移出ISR。
- HW(High Watermark):所有ISR副本都已复制的消息offset,消费者只能看到HW之前的消息。
- LEO(Log End Offset):每个副本的最新消息offset。
- 关系:Leader的HW = min(所有ISR的LEO),Follower的HW = min(自己的LEO, Leader的HW)。
- 面试要点:ISR机制保证"至少在ISR个副本上持久化"后才对消费者可见。
Kafka的Exactly-Once语义实现?
★★★★★
- 幂等Producer(enable.idempotence=true):Producer为每个<TPID, Partition>分配SequenceNumber,Broker去重。
- 事务(transactional.id):跨Partition的原子写入——要么全部Commit要么全部Abort。
- Exactly-Once流程:beginTransaction→send(record1)→send(record2)→sendOffsetToTransaction→commitTransaction。
- Consumer端:isolation.level=read_committed只读取已提交的事务消息。
- 面试要点:Kafka的Exactly-Once靠"幂等Producer + 事务"实现,Consumer端需要配合read_committed。
Kafka的分区策略?
★★★★
- 指定分区:ProducerRecord中指定partition编号。
- 按Key分区:hash(key) % partitionCount,相同Key的消息进入同一分区(保证有序性)。
- 无Key轮询:Round-Robin分配到各分区(StickyPartitioner优化,批量发到同一分区减少请求)。
- 自定义分区器:实现Partitioner接口,按业务逻辑分配。
- 面试要点:需要保证消息顺序的场景必须指定Key(如orderId),无序场景用无Key轮询。
Kafka的Consumer Group和Rebalance?
★★★★★
- Consumer Group:同一Group内的Consumer共同消费Topic的所有分区,每个分区只被一个Consumer消费。
- Rebalance触发条件:(1) Consumer加入/退出Group;(2) Topic分区数变化;(3) 订阅的Topic变化。
- 分区分配策略:RangeAssignor(按范围分配)、RoundRobinAssignor(轮询分配)、StickyAssignor(粘性分配,尽量保持原有分配)。
- Rebalance问题:所有Consumer停止消费→重新分配→恢复,期间服务不可用(Stop The World)。
- 避免:(1) 避免Consumer频繁上下线;(2) 调大session.timeout.ms和heartbeat.interval.ms;(3) 使用Static Membership(Kafka 2.3+)。
- 面试要点:Rebalance是Kafka消费端的"STW"问题,面试必考。
Kafka的消息堆积怎么处理?
★★★★★
- 原因分析:消费速度 < 生产速度,可能原因——消费逻辑慢(数据库查询慢)、消费者太少、频繁Rebalance、数据倾斜。
- 应急处理:(1) 增加Consumer数量(≤分区数);(2) 消费端快速写入到另一个Topic/数据库,异步慢慢处理;(3) 临时扩容分区。
- 长期方案:(1) 优化消费逻辑(批量处理、异步IO);(2) 合理分区数(预估峰值TPS/单Consumer处理能力);(3) 监控Consumer Lag告警。
- 面试要点:分区数决定了一个Consumer Group的最大并行度,增加Consumer不能超过分区数。
Kafka的消息顺序性保证?
★★★★
- 分区内有序:同一分区内的消息严格有序(追加写入)。
- 分区间无序:不同分区的消息无顺序保证。
- 保证方案:(1) 需要有序的消息发到同一分区(指定相同的Key或partition);(2) max.in.flight.requests.per.connection=1(防止重试乱序)。
- 幂等Producer+顺序:enable.idempotence=true + max.in.flight.requests.per.connection ≤ 5。
- 面试要点:Kafka只保证分区内有序,全局有序需要单分区(牺牲吞吐)。
Kafka的日志存储和清理策略?
★★★★
- 存储结构:Topic→Partition→Log Segment(.log + .index + .timeindex)。
- Segment切分:大小超过log.segment.bytes(默认1GB)或时间超过log.roll.hours时创建新Segment。
- 清理策略:(1) Delete——按时间/大小删除旧Segment(log.retention.hours=168,7天);(2) Compact——保留每个Key的最新值,删除旧值(适合changelog Topic)。
- 零拷贝:Kafka使用sendfile()系统调用,数据从磁盘直接到网卡,不经过用户空间。
- 面试要点:Kafka的高吞吐来自"顺序写+零拷贝+页缓存"。
Kafka的Controller角色?
★★★★
- Controller:集群中的一个Broker充当Controller(通过ZK选举)。
- 职责:Partition Leader选举、Broker故障处理(重新选举Leader)、Topic/Partition管理、Preferred Leader选举。
- 故障处理:Controller检测到Broker宕机→该Broker上的所有Partition Leader重新选举→通知所有Broker更新元数据。
- Controller故障:Controller本身宕机→ZK临时节点删除→其他Broker竞选新Controller。
- 面试要点:Controller是Kafka集群的"大脑",负责所有的元数据管理和故障恢复。
Kafka Streams的KTable和KStream?
★★★
- KStream:事件流,每条记录是独立的事件(如用户点击、订单创建)。
- KTable:变更日志(Changelog),每个Key保留最新值(如用户当前状态)。
- 区别:KStream是append-only(append log),KTable是update(materialized view)。
- Join:(1) KStream-KStream Join——两个流的时间窗口内关联;(2) KTable-KTable Join——类似SQL JOIN;(3) KStream-KTable Join——流关联最新状态。
- 面试要点:KStream和KTable的类比——KStream=事件日志,KTable=数据库表。
Kafka的生产调优?
★★★★
- Producer调优:batch.size=32KB(批量发送)、linger.ms=5ms(等待凑批)、compression.type=lz4/snappy(压缩)、acks=all(不丢消息)、buffer.memory=64MB(缓冲区)。
- Broker调优:num.io.threads=8(IO线程数)、num.network.threads=3(网络线程数)、log.flush.interval.messages=10000(刷盘频率)。
- Consumer调优:fetch.min.bytes=1MB(最小拉取量)、max.poll.records=500(每次拉取最大条数)、max.poll.interval.ms=300000(处理超时)。
- JVM调优:Kafka Broker建议6-8GB堆内存,使用G1 GC。
- 面试要点:batch.size和linger.ms是Producer性能的核心参数,两者配合实现"凑批发送"。
五、大数据组件对比与选型(43-50)
Kafka vs RocketMQ vs RabbitMQ?
★★★★★
- Kafka:高吞吐(百万级TPS)、分布式、支持Exactly-Once、大数据场景首选、社区活跃。
- RocketMQ:事务消息、延迟消息、顺序消息、阿里生态、金融级可靠。
- RabbitMQ:低延迟(微秒级)、丰富路由(Exchange/Binding)、AMQP协议、适合中小规模。
- 选型建议:大数据/日志→Kafka,金融/电商→RocketMQ,企业集成→RabbitMQ。
- 面试要点:能从"吞吐、延迟、可靠性、功能、社区"五个维度对比。
ClickHouse vs Doris vs Druid?
★★★★
- ClickHouse:单表查询极快(向量化执行)、列式存储、适合大表分析、不支持高并发点更新。
- Apache Doris:支持实时更新、高并发点查、MySQL协议兼容、适合实时数仓。
- Apache Druid:时序数据、实时摄入、适合时序分析、架构复杂。
- 选型建议:日志/大表分析→ClickHouse,实时数仓+高并发查询→Doris,时序数据→Druid。
- 面试要点:三种OLAP引擎各有侧重,根据场景选型。
HBase vs ClickHouse vs Elasticsearch?
★★★★
- HBase:海量数据+高吞吐写入+单行查询,适合用户画像、时序数据、日志存储。
- ClickHouse:OLAP分析查询,适合报表、聚合分析、大范围扫描。
- Elasticsearch:全文搜索+聚合分析,适合搜索、日志分析、监控。
- 选型建议:海量写入+简单查询→HBase,复杂分析→ClickHouse,搜索场景→ES。
- 面试要点:三个引擎的存储结构和查询模型不同,决定适用场景。
Redis vs Memcached vs Ehcache?
★★★★
- Redis:丰富数据类型(String/Hash/List/Set/ZSet)、持久化(RDB/AOF)、单线程高性能、支持Lua脚本。
- Memcached:纯内存缓存、多线程、简单KV、无持久化、适合纯缓存场景。
- Ehcache:本地缓存(JVM内)、支持磁盘溢出、Spring Cache默认实现、适合单机缓存。
- 选型建议:分布式缓存→Redis,纯缓存无持久化→Memcached,本地缓存→Ehcache/Caffeine。
- 多级缓存:Caffeine(L1本地)→ Redis(L2分布式)→ DB。
Flink vs Spark Streaming vs Storm?
★★★★
- Flink:真正的流处理(event-at-a-time)、Event Time支持、状态管理、Exactly-Once、流式SQL。
- Spark Streaming:Micro-batch模式(准实时,延迟秒级)、生态丰富(MLlib/GraphX)、适合批流一体。
- Storm:真正的流处理、低延迟(毫秒级)、但无状态管理、Exactly-Once支持弱、社区衰退。
- 选型建议:新项目首选Flink,已有Spark生态用Spark Streaming,新项目不推荐Storm。
- 面试要点:Flink是当前流处理的事实标准,Spark Streaming适合批流一体。
数据湖三剑客:Iceberg vs Hudi vs Delta Lake?
★★★★
- Apache Iceberg:表格式规范、引擎无关、Schema Evolution、时间旅行、开源社区活跃。
- Apache Hudi:Upsert能力、Incremental Query、Copy On Write + Merge On Read、近实时数据摄入。
- Delta Lake:Databricks出品、与Spark深度集成、ACID事务、开源但生态绑定Spark。
- 选型建议:多引擎环境→Iceberg,近实时Upsert→Hudi,Spark生态→Delta Lake。
- 面试要点:数据湖解决"流批一体存储",但查询层仍需ClickHouse/Doris。
时序数据库选型:InfluxDB vs TDengine vs TimescaleDB?
★★★
- InfluxDB:开源时序数据库、Flux查询语言、适合IoT和监控场景。
- TDengine:国产开源、超高性能、SQL接口、适合工业IoT。
- TimescaleDB:基于PostgreSQL的时序扩展、SQL接口、适合已有PG的场景。
- 选型建议:IoT/监控→InfluxDB或TDengine,已有PG→TimescaleDB。
- 面试要点:时序数据库的核心能力是"高吞吐写入+时间范围查询+降采样"。
大数据架构的演进趋势?
★★★★
- Lambda→Kappa:从"批+流"双链路简化为Flink单链路。
- 数据仓库→数据湖→湖仓一体(Lakehouse):统一存储层(Iceberg/Hudi)+ 查询引擎(ClickHouse/Doris)。
- 实时化:T+1离线批处理→分钟级/秒级实时处理,Flink CDC+实时数仓。
- 云原生化:存算分离、弹性伸缩、Serverless(如Amazon Kinesis、阿里云Flink Serverless)。
- 面试要点:理解从"离线数仓"到"实时湖仓一体"的演进逻辑。