← 课程目录 🚀 从零到一
📐 学习维度 阶段7 · 第28章 开源项目源码精读 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

28.4.3 Canal + RocketMQ + ES:binlog 驱动的数据同步

审校 2026-09-26 · 素材来源:zcode会话#3《分析guanzi-mall项目设计模式与亮点》(mall4cloud源码)
📑 本篇章节导航 (共7节,点击直达)
为什么是 Canal链路全景:六步从 SQL 到 ES代码三层:门面路由 + 注册表工厂 + 模板方法六个监听器:每张表一个同步策略最关键的一个细节:缓存一致性踩坑清单面试怎么问

商品数据在 MySQL,搜索要走 Elasticsearch。怎么保证两边一致?双写代码侵入大还容易漏,定时同步延迟高。mall4cloud 用 Canal 监听 binlog 走 MQ 更新 ES——业务代码零感知。

前置阅读:17.5 讲过双写难题。这篇看 binlog 驱动数据同步的完整链路。

为什么是 Canal

MySQL 主从复制的原理:从库拉主库的 binlog(记录每次数据变更的日志)回放。Canal 就是伪装成一个 MySQL 从库,让主库把 binlog 主动推给它。

方案缺点
业务代码双写侵入大,忘了写就漏;事务难保证
定时任务全量同步延迟分钟级起步,扫表压力大
Canal 监听 binlog业务无感、秒级、增量

为什么 binlog 是对的源?因为它是 MySQL 自己保证的变更的完备流:任何写路径——业务代码、DBA 手改、定时任务、别的系统直连改库——都会留痕,顺序还与提交顺序一致。对比「业务代码发事件」:绕过业务的写就漏了。订阅存储层的日志,比订阅应用的代码可靠。

伪装从库的技术细节一句话:Canal 向 MySQL 发送 binlog dump 协议请求,带上自己的位点(binlog 文件名加偏移),MySQL 就从那位点开始推送事件流——和真从库的拉取动作一模一样,MySQL 区分不出来。重启后 Canal 从记录的位点续传,不丢不重。

链路全景:六步从 SQL 到 ES


① MySQL 执行 UPDATE spu SET price=?  WHERE id=123
② 变更写入 binlog(ROW 格式,含改前改后)
③ Canal 伪装从库拿到 binlog event
④ Canal 解析成 JSON 发到 RocketMQ(canal.serverMode=rocketMQ)
⑤ 应用消费消息,按 库+表 路由到处理器
⑥ 处理器回查详情,更新 ES 文档

运维侧两个配置文件:canal.properties 里 canal.serverMode=rocketMQ 让 Canal 内嵌一个 Producer;instance.properties 里 filter.regex 指定监听哪些库表、mq.topic 指定投递的 topic。MySQL 侧只需给 Canal 账号开 REPLICATION SLAVE 权限。

MQ 侧还有一个容易漏的保序配置:topic 开多分区提速时,要按主键 hash 选分区——同一个 SPU 的先后两次变更必须落同一个分区,消费才有序。不同分区内乱序无害(不同行互不影响),同行乱序才是事故(旧覆盖新)。


# 监听哪些表(正则)
canal.instance.filter.regex=mall_product.spu:*,mall_product.brand:*
# binlog 转发到哪个 topic
canal.mq.topic=canal-topic

代码三层:门面路由 + 注册表工厂 + 模板方法

消费入口只做一件事——把消息丢给调度器:


@RocketMQMessageListener(topic = "canal-topic", consumerGroup = "canal")
public class CanalListener implements RocketMQListener<String> {
    @Autowired private CanalGlue canalGlue;
    public void onMessage(String message) {
        canalGlue.process(message);   // 不自己处理,单一职责
    }
}

CanalGlue(总调度/门面)按「库+表」找处理器。消费者本体干净到只有一行转发——入口不承担业务,是整套设计可维护的第一道保障:


public void process(String content) {
    CanalBinLogEvent event = parse(content);
    ModelTable mt = ModelTable.of(event.getDatabase(), event.getTable());
    List<Processor> ps = factory.get(mt);   // 查注册表
    if (ps == null) return;                  // 没人监听这张表,丢弃
    ps.forEach(p -> p.process(event));
}

三种设计模式协同,分两个阶段:

启动时注册(注册表模式):SmartInitializingSingleton 回调里,Spring 容器找出所有 BaseCanalBinlogEventProcessor Bean,反射读子类泛型和 @CanalModel(database=..., table=...) 注解,把自己注册进工厂的 ConcurrentMap<ModelTable, List<Processor>>——用 List 支持一张表多个处理器。

运行时分发(模板方法):父类定流程骨架——解析 → 按操作类型分发到 processInsertInternal / processUpdateInternal 钩子;子类只写「这张表的更新怎么同步 ES」:


@Component
public class SpuCanalListener extends BaseCanalBinlogEventProcessor<SpuBO> {
    protected void processUpdateInternal(CanalBinLogResult<SpuBO> r) {
        Long spuId = r.getPrimaryKey();
        // binlog 只有本表字段,ES 要完整文档 → Feign 回查再组装
        EsProductBO bo = productClient.loadEsProduct(spuId).getData();
        UpdateRequest req = new UpdateRequest("product", spuId.toString())
            .doc(Json.toJson(bo)).docAsUpsert(true);  // 有则更新无则插入
        esClient.update(req, RequestOptions.DEFAULT);
    }
}

docAsUpsert(true) 值得单独记:文档存在就按 doc 更新,不存在就插入——消费到「先删后建」类乱序或重放消息时天然幂等,同一消息来几次结果都一样。ES 的 upsert 语义在这里不是便利方法,是幂等防线。

六个监听器:每张表一个同步策略

项目的注册表里实际挂了六个处理器,一张表一种打法:

监听表处理逻辑
spu新增 Feign 回查组装 IndexRequest;更新 docAsUpsert
spu_extension库存/销量变更 → 先 evict Redis → 更新 ES
brand / category / shop_detail联动批量更新所有关联 SPU 的 ES 文档
order同步到订单索引

brand 那一行值得多看一眼:改一个品牌名,ES 里几百个商品的 brandName 字段全要跟着改——引用数据变更,连带刷新所有冗余了这份引用的文档。ES 的反范式设计(文档里冗余品牌名避免联查)的代价就在这:改一处要还几百处,靠 binlog 驱动自动还。

最关键的一个细节:缓存一致性

监听 spu_extension(库存/销量)的处理器,更新 ES 之前先 evict Redis——MySQL、ES、Redis 三方一致性在这个监听器里闭环。漏掉这一步的表现:改库存,搜索结果对,详情页旧数据。

为什么顺序是「先删缓存再更新 ES」而不是反过来?删缓存是瞬时动作,之后任何读请求都会回源 MySQL 拿到新值再重建缓存;反过来先更新 ES,窗口期内的读请求还拿着旧缓存,三方各自为政的时间被拉长。失效动作要放在「新值已落真源、旧值还在扩散」的临界点上。

踩坑清单

面试怎么问

「MySQL 和 ES 怎么保证一致?」——答:Canal 伪装从库订阅 binlog,serverMode 配 rocketMQ 投递,消费端门面按库表路由到注册表里的处理器,模板方法分发增删改钩子,回查组装完整文档更新 ES;库存销量变更的处理器同时先删 Redis 缓存,三方一致。

追问「延迟多大、能接受吗」——答秒级:binlog 生成即推、MQ 秒级投递、消费回查加更新再一两秒。搜索场景对秒级延迟天然免疫(用户不会刚改完商品立刻搜索验证);真要强一致读就别走 ES,这是选型时就接受的边界。再追「消息积压怎么办」——消费端可水平扩容,回查接口加批量,极端时先保 ES 更新、聚合类索引延后。

一句话总结:binlog 是唯一真源的变更流,Canal 是采集器,MQ 是缓冲带,三个设计模式把分发做成了可插拔。