← 课程目录 🚀 从零到一
📐 学习维度 阶段7 · 第28章 开源项目源码精读 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

28.3.3 Canal 源码深读(三):SpringCloud 接入实战、位点管理与断点续传 HA

审校 2026-09-26 · 素材来源:zcode会话《Canal源码解析与SpringCloud接入实践》(项目源码分析)
📑 本篇章节导航 (共7节,点击直达)
场景:微服务团队的两难类比:快递柜与代收点可跑示例:两种接入方式原理拆解:位点、断点续传与 HA踩坑清单补充:一条订单更新的完整旅程面试怎么问

前两篇讲清了 canal 内部怎么工作。最后一篇解决工程问题:一个 SpringCloud 微服务系统,到底怎么接 canal 才不出事?重点讲两条接入路线、位点管理、断点续传和 HA。

前置阅读:17.5 讨论过双写一致性。这篇看接入实战里的位点管理与断点续传。

场景:微服务团队的两难

订单、商品、库存各是一个微服务,都想拿到 binlog 变更刷缓存、建 ES 索引。

让每个服务都直连 canal?连接爆炸、位点抢夺。让一个服务消费完再广播?耦合又重了。而且 canal server 本身也可能宕机,谁来保证断点续传?

类比:快递柜与代收点

TCP 直连像自己去快递柜取件:快,但你得亲自到场、记住取到哪件了(自己管位点)。

MQ 投递像小区代收点:canal 把包裹统一送到代收点(Kafka/RocketMQ),各户(微服务)有空再去拿,取件进度由代收点记着(offset 位点)。多户共享、天然削峰。

可跑示例:两种接入方式

方案 A:MQ 投递(微服务首选)

canal server 端配 canal.properties:


canal.serverMode = kafka
canal.mq.servers = {{HOST}}:9092
canal.mq.topic  = canal-topic
canal.mq.flatMessage = true   # 投 JSON,跨语言友好

微服务侧只是普通 MQ 消费者,零 canal 依赖:


@Component
@RocketMQMessageListener(topic = "canal-topic", consumerGroup = "sync-group")
public class CanalSyncListener implements RocketMQListener<String> {
    @Override
    public void onMessage(String json) {
        FlatMessage flat = JSON.parseObject(json, FlatMessage.class);
        if (!"order".equals(flat.getTable())) return;
        switch (flat.getType()) {           // INSERT/UPDATE/DELETE
            case "UPDATE": /* 更新读模型 */ break;
            case "DELETE": /* 删缓存 */     break;
        }
        // 幂等去重必须有
    }
}

方案 B:TCP 直连(低延迟场景)


<dependency>
  <groupId>com.alibaba.otter</groupId>
  <artifactId>canal-client</artifactId>
  <version>1.1.5</version>
</dependency>

@Component
public class CanalClientRunner implements SmartLifecycle {
    private volatile boolean running;
    @Override public void start() {
        CanalConnector c = CanalConnectors.newClusterConnector(
            "{{ZK_HOST}}:2181", "example", "", "");  // 集群模式,多实例安全
        c.connect();
        c.subscribe(".*\\..*");
        running = true;
        // 独立线程池跑 getWithoutAck → ack/rollback 循环
    }
    @Override public void stop() { running = false; /* disconnect 前先 ack */ }
    @Override public boolean isRunning() { return running; }
}

用 SmartLifecycle(Spring 的生命周期钩子接口,容器启停时回调 start/stop)管理连接,优雅停机不丢批次。

原理拆解:位点、断点续传与 HA

位点管理

meta 模块的 MetaManager 负责记录消费位点(binlog 文件名 + position,即「消费到哪了」)。实现有内存、文件、ZK 三种,MixedMetaManager 组合使用——内存快、ZK 可靠,两者兼得。这个组合本身就是装饰器模式:MixedMetaManager 包着两个实现,读走内存、写双写。

ack 一个批次,canal 才把位点持久化前移。进程重启后从上次 ack 的位置继续拉 binlog,这就是断点续传。

位点的另一个来源是 binlog 本身:canal 落地时会在 ZK 上同时记一份「主库最新位点」,客户端每次 get 都能拿到当前事件的 logfile + position。做幂等去重时,用这个二元组当 key 最精确。

两种方案怎么选

维度TCP 直连MQ 投递
延迟毫秒级最低受 MQ 影响,通常亚秒
依赖引 canal-client 包只依赖 MQ 客户端
多实例需 ZK 集群连接器MQ 分区天然支持
位点canal MetaManager 管MQ offset 管
语言Java 为主(有多语言客户端)任意语言

微服务系统九成场景选 MQ:每个服务只管订阅自己的 topic,canal 对它们只是「数据源」,谁挂了都不影响别人。新增一个消费方也不需要 canal 侧做任何改动,加个订阅就完事,这正是微服务架构最喜欢的松耦合形态。

Server HA

生产部署多个 canal-server 时,deployer 模块的 CanalController 配合 ServerRunningMonitor,通过 ZK 临时节点(会话断开自动删除的 znode)选主:

同一 destination 同一时刻只有一个 server 在跑,其余 standby standby 监听。主挂了,临时节点消失,备立刻接管,从 MetaManager 里恢复位点继续消费。

Client HA

TCP 模式多个 client 消费同一 destination 也会打架。ClientRunningMonitor 同样走 ZK 选主,只允许一个 client 消费。这就是为什么多实例必须用 newClusterConnector——单机连接器多个实例会互相抢位点、互相 rollback。

SpringCloud 接入的七条工程守则

1. 统一抽象:定义 BinlogEventHandler 接口,按表名路由到各领域实现,canal 逻辑与业务解耦

2. 配置中心化:地址、destination、订阅正则放 Nacos,配 @RefreshScope 动态调

3. 幂等工程化:去重表或 Redis SETNX,幂等 key 用 MQ 的 topic+partition+offset

4. 多实例消费:MQ 模式天然支持;TCP 模式必须 ZK cluster connector,否则实例间抢位点互相 rollback,数据一会儿丢一会儿重

5. 线程池隔离:canal 消费用独立线程池,别占 Tomcat 业务线程,否则一次 binlog 洪峰把 HTTP 请求全拖死

6. 优雅停机:先 ack 已处理批次,再 unsubscribe + disconnect,保证不丢未确认数据

7. 别在业务服务里做解析:解析 Entry 有 CPU 开销,规模大时上专门的 sync 服务消费 MQ、写 ES/Redis,业务服务只读

部署形态参考

按规模递进:开发和验证用单机 CanalController + 配置文件 instance 即可;生产上多 server + ZK 做 HA;instance 数量多了再引入 canal-admin 集中管理,配置不再散落各机器。MQ 投递模式下位点由 MQ 管理,ZK 只用于 server 选主,运维面更小。三档形态按需取用,不必一步到位。

踩坑清单

补充:一条订单更新的完整旅程

把三篇内容串起来走一遍全链路,检验是否真懂了:

1. 订单服务执行 UPDATE order SET status=2 WHERE id=1,MySQL 写入 binlog

2. canal 的 MysqlConnection(伪装 slave)收到这条 UPDATE_ROWS 事件流

3. MysqlEventParser 结合 TSDB 里的表结构,解析出带前后镜像的 Entry

4. EntryEventSink 过滤后放进 MemoryEventStoreWithBuffer 环形缓冲,put 游标前移

5. 消费端 get 取走这批事件;MQ 模式下 CanalMQStarter 先把它转成 FlatMessage JSON 投进 Kafka

6. 微服务的 MQ 消费者收到 JSON,幂等校验通过,更新 ES 和缓存

7. ack 回来,get/ack 游标前移,位点持久化到 ZK

任何一环宕机重启,都从上次 ack 的位点续传,不丢事件,代价是可能重发——所以第 6 步的幂等永远不能省。把这条链路背下来,面试被追问任何一环都能接得住。

面试怎么问

「Canal 怎么保证宕机后不丢数据?」——答:消费基于 ack 位点,只有客户端 ack 后位点才持久化(ZK/文件);server 重启或主备切换后,从上次 ack 的 binlog 位点续传,配合 at-least-once 语义不丢,代价是可能重发,下游做幂等。

「微服务接入 canal 选 TCP 还是 MQ?」——答:多数场景选 MQ 投递——解耦、削峰、多语言、多实例天然支持,微服务只是普通消费者零侵入;TCP 直连只在低延迟、点对点、需要精确控制位点的场景用。

「多个 canal-server 怎么协调?」——答:ZK 临时节点选主,同一 destination 同一时刻只有一个 server 工作,其余 standby,主挂后临时节点消失、备机秒级接管。