商品数据在 MySQL,搜索要走 Elasticsearch。怎么保证两边一致?双写代码侵入大还容易漏,定时同步延迟高。mall4cloud 用 Canal 监听 binlog 走 MQ 更新 ES——业务代码零感知。
前置阅读:17.5 讲过双写难题。这篇看 binlog 驱动数据同步的完整链路。
MySQL 主从复制的原理:从库拉主库的 binlog(记录每次数据变更的日志)回放。Canal 就是伪装成一个 MySQL 从库,让主库把 binlog 主动推给它。
| 方案 | 缺点 |
|---|---|
| 业务代码双写 | 侵入大,忘了写就漏;事务难保证 |
| 定时任务全量同步 | 延迟分钟级起步,扫表压力大 |
| Canal 监听 binlog | 业务无感、秒级、增量 |
为什么 binlog 是对的源?因为它是 MySQL 自己保证的变更的完备流:任何写路径——业务代码、DBA 手改、定时任务、别的系统直连改库——都会留痕,顺序还与提交顺序一致。对比「业务代码发事件」:绕过业务的写就漏了。订阅存储层的日志,比订阅应用的代码可靠。
伪装从库的技术细节一句话:Canal 向 MySQL 发送 binlog dump 协议请求,带上自己的位点(binlog 文件名加偏移),MySQL 就从那位点开始推送事件流——和真从库的拉取动作一模一样,MySQL 区分不出来。重启后 Canal 从记录的位点续传,不丢不重。
① MySQL 执行 UPDATE spu SET price=? WHERE id=123
② 变更写入 binlog(ROW 格式,含改前改后)
③ Canal 伪装从库拿到 binlog event
④ Canal 解析成 JSON 发到 RocketMQ(canal.serverMode=rocketMQ)
⑤ 应用消费消息,按 库+表 路由到处理器
⑥ 处理器回查详情,更新 ES 文档
运维侧两个配置文件:canal.properties 里 canal.serverMode=rocketMQ 让 Canal 内嵌一个 Producer;instance.properties 里 filter.regex 指定监听哪些库表、mq.topic 指定投递的 topic。MySQL 侧只需给 Canal 账号开 REPLICATION SLAVE 权限。
MQ 侧还有一个容易漏的保序配置:topic 开多分区提速时,要按主键 hash 选分区——同一个 SPU 的先后两次变更必须落同一个分区,消费才有序。不同分区内乱序无害(不同行互不影响),同行乱序才是事故(旧覆盖新)。
# 监听哪些表(正则)
canal.instance.filter.regex=mall_product.spu:*,mall_product.brand:*
# binlog 转发到哪个 topic
canal.mq.topic=canal-topic
消费入口只做一件事——把消息丢给调度器:
@RocketMQMessageListener(topic = "canal-topic", consumerGroup = "canal")
public class CanalListener implements RocketMQListener<String> {
@Autowired private CanalGlue canalGlue;
public void onMessage(String message) {
canalGlue.process(message); // 不自己处理,单一职责
}
}
CanalGlue(总调度/门面)按「库+表」找处理器。消费者本体干净到只有一行转发——入口不承担业务,是整套设计可维护的第一道保障:
public void process(String content) {
CanalBinLogEvent event = parse(content);
ModelTable mt = ModelTable.of(event.getDatabase(), event.getTable());
List<Processor> ps = factory.get(mt); // 查注册表
if (ps == null) return; // 没人监听这张表,丢弃
ps.forEach(p -> p.process(event));
}
三种设计模式协同,分两个阶段:
启动时注册(注册表模式):SmartInitializingSingleton 回调里,Spring 容器找出所有 BaseCanalBinlogEventProcessor Bean,反射读子类泛型和 @CanalModel(database=..., table=...) 注解,把自己注册进工厂的 ConcurrentMap<ModelTable, List<Processor>>——用 List 支持一张表多个处理器。
运行时分发(模板方法):父类定流程骨架——解析 → 按操作类型分发到 processInsertInternal / processUpdateInternal 钩子;子类只写「这张表的更新怎么同步 ES」:
@Component
public class SpuCanalListener extends BaseCanalBinlogEventProcessor<SpuBO> {
protected void processUpdateInternal(CanalBinLogResult<SpuBO> r) {
Long spuId = r.getPrimaryKey();
// binlog 只有本表字段,ES 要完整文档 → Feign 回查再组装
EsProductBO bo = productClient.loadEsProduct(spuId).getData();
UpdateRequest req = new UpdateRequest("product", spuId.toString())
.doc(Json.toJson(bo)).docAsUpsert(true); // 有则更新无则插入
esClient.update(req, RequestOptions.DEFAULT);
}
}
docAsUpsert(true) 值得单独记:文档存在就按 doc 更新,不存在就插入——消费到「先删后建」类乱序或重放消息时天然幂等,同一消息来几次结果都一样。ES 的 upsert 语义在这里不是便利方法,是幂等防线。
项目的注册表里实际挂了六个处理器,一张表一种打法:
| 监听表 | 处理逻辑 |
|---|---|
| spu | 新增 Feign 回查组装 IndexRequest;更新 docAsUpsert |
| spu_extension | 库存/销量变更 → 先 evict Redis → 更新 ES |
| brand / category / shop_detail | 联动批量更新所有关联 SPU 的 ES 文档 |
| order | 同步到订单索引 |
brand 那一行值得多看一眼:改一个品牌名,ES 里几百个商品的 brandName 字段全要跟着改——引用数据变更,连带刷新所有冗余了这份引用的文档。ES 的反范式设计(文档里冗余品牌名避免联查)的代价就在这:改一处要还几百处,靠 binlog 驱动自动还。
监听 spu_extension(库存/销量)的处理器,更新 ES 之前先 evict Redis——MySQL、ES、Redis 三方一致性在这个监听器里闭环。漏掉这一步的表现:改库存,搜索结果对,详情页旧数据。
为什么顺序是「先删缓存再更新 ES」而不是反过来?删缓存是瞬时动作,之后任何读请求都会回源 MySQL 拿到新值再重建缓存;反过来先更新 ES,窗口期内的读请求还拿着旧缓存,三方各自为政的时间被拉长。失效动作要放在「新值已落真源、旧值还在扩散」的临界点上。
「MySQL 和 ES 怎么保证一致?」——答:Canal 伪装从库订阅 binlog,serverMode 配 rocketMQ 投递,消费端门面按库表路由到注册表里的处理器,模板方法分发增删改钩子,回查组装完整文档更新 ES;库存销量变更的处理器同时先删 Redis 缓存,三方一致。
追问「延迟多大、能接受吗」——答秒级:binlog 生成即推、MQ 秒级投递、消费回查加更新再一两秒。搜索场景对秒级延迟天然免疫(用户不会刚改完商品立刻搜索验证);真要强一致读就别走 ES,这是选型时就接受的边界。再追「消息积压怎么办」——消费端可水平扩容,回查接口加批量,极端时先保 ES 更新、聚合类索引延后。
一句话总结:binlog 是唯一真源的变更流,Canal 是采集器,MQ 是缓冲带,三个设计模式把分发做成了可插拔。