前两篇讲清了 canal 内部怎么工作。最后一篇解决工程问题:一个 SpringCloud 微服务系统,到底怎么接 canal 才不出事?重点讲两条接入路线、位点管理、断点续传和 HA。
前置阅读:17.5 讨论过双写一致性。这篇看接入实战里的位点管理与断点续传。
订单、商品、库存各是一个微服务,都想拿到 binlog 变更刷缓存、建 ES 索引。
让每个服务都直连 canal?连接爆炸、位点抢夺。让一个服务消费完再广播?耦合又重了。而且 canal server 本身也可能宕机,谁来保证断点续传?
TCP 直连像自己去快递柜取件:快,但你得亲自到场、记住取到哪件了(自己管位点)。
MQ 投递像小区代收点:canal 把包裹统一送到代收点(Kafka/RocketMQ),各户(微服务)有空再去拿,取件进度由代收点记着(offset 位点)。多户共享、天然削峰。
canal server 端配 canal.properties:
canal.serverMode = kafka
canal.mq.servers = {{HOST}}:9092
canal.mq.topic = canal-topic
canal.mq.flatMessage = true # 投 JSON,跨语言友好
微服务侧只是普通 MQ 消费者,零 canal 依赖:
@Component
@RocketMQMessageListener(topic = "canal-topic", consumerGroup = "sync-group")
public class CanalSyncListener implements RocketMQListener<String> {
@Override
public void onMessage(String json) {
FlatMessage flat = JSON.parseObject(json, FlatMessage.class);
if (!"order".equals(flat.getTable())) return;
switch (flat.getType()) { // INSERT/UPDATE/DELETE
case "UPDATE": /* 更新读模型 */ break;
case "DELETE": /* 删缓存 */ break;
}
// 幂等去重必须有
}
}
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal-client</artifactId>
<version>1.1.5</version>
</dependency>
@Component
public class CanalClientRunner implements SmartLifecycle {
private volatile boolean running;
@Override public void start() {
CanalConnector c = CanalConnectors.newClusterConnector(
"{{ZK_HOST}}:2181", "example", "", ""); // 集群模式,多实例安全
c.connect();
c.subscribe(".*\\..*");
running = true;
// 独立线程池跑 getWithoutAck → ack/rollback 循环
}
@Override public void stop() { running = false; /* disconnect 前先 ack */ }
@Override public boolean isRunning() { return running; }
}
用 SmartLifecycle(Spring 的生命周期钩子接口,容器启停时回调 start/stop)管理连接,优雅停机不丢批次。
meta 模块的 MetaManager 负责记录消费位点(binlog 文件名 + position,即「消费到哪了」)。实现有内存、文件、ZK 三种,MixedMetaManager 组合使用——内存快、ZK 可靠,两者兼得。这个组合本身就是装饰器模式:MixedMetaManager 包着两个实现,读走内存、写双写。
ack 一个批次,canal 才把位点持久化前移。进程重启后从上次 ack 的位置继续拉 binlog,这就是断点续传。
位点的另一个来源是 binlog 本身:canal 落地时会在 ZK 上同时记一份「主库最新位点」,客户端每次 get 都能拿到当前事件的 logfile + position。做幂等去重时,用这个二元组当 key 最精确。
| 维度 | TCP 直连 | MQ 投递 |
|---|---|---|
| 延迟 | 毫秒级最低 | 受 MQ 影响,通常亚秒 |
| 依赖 | 引 canal-client 包 | 只依赖 MQ 客户端 |
| 多实例 | 需 ZK 集群连接器 | MQ 分区天然支持 |
| 位点 | canal MetaManager 管 | MQ offset 管 |
| 语言 | Java 为主(有多语言客户端) | 任意语言 |
微服务系统九成场景选 MQ:每个服务只管订阅自己的 topic,canal 对它们只是「数据源」,谁挂了都不影响别人。新增一个消费方也不需要 canal 侧做任何改动,加个订阅就完事,这正是微服务架构最喜欢的松耦合形态。
生产部署多个 canal-server 时,deployer 模块的 CanalController 配合 ServerRunningMonitor,通过 ZK 临时节点(会话断开自动删除的 znode)选主:
同一 destination 同一时刻只有一个 server 在跑,其余 standby standby 监听。主挂了,临时节点消失,备立刻接管,从 MetaManager 里恢复位点继续消费。
TCP 模式多个 client 消费同一 destination 也会打架。ClientRunningMonitor 同样走 ZK 选主,只允许一个 client 消费。这就是为什么多实例必须用 newClusterConnector——单机连接器多个实例会互相抢位点、互相 rollback。
1. 统一抽象:定义 BinlogEventHandler 接口,按表名路由到各领域实现,canal 逻辑与业务解耦
2. 配置中心化:地址、destination、订阅正则放 Nacos,配 @RefreshScope 动态调
3. 幂等工程化:去重表或 Redis SETNX,幂等 key 用 MQ 的 topic+partition+offset
4. 多实例消费:MQ 模式天然支持;TCP 模式必须 ZK cluster connector,否则实例间抢位点互相 rollback,数据一会儿丢一会儿重
5. 线程池隔离:canal 消费用独立线程池,别占 Tomcat 业务线程,否则一次 binlog 洪峰把 HTTP 请求全拖死
6. 优雅停机:先 ack 已处理批次,再 unsubscribe + disconnect,保证不丢未确认数据
7. 别在业务服务里做解析:解析 Entry 有 CPU 开销,规模大时上专门的 sync 服务消费 MQ、写 ES/Redis,业务服务只读
按规模递进:开发和验证用单机 CanalController + 配置文件 instance 即可;生产上多 server + ZK 做 HA;instance 数量多了再引入 canal-admin 集中管理,配置不再散落各机器。MQ 投递模式下位点由 MQ 管理,ZK 只用于 server 选主,运维面更小。三档形态按需取用,不必一步到位。
把三篇内容串起来走一遍全链路,检验是否真懂了:
1. 订单服务执行 UPDATE order SET status=2 WHERE id=1,MySQL 写入 binlog
2. canal 的 MysqlConnection(伪装 slave)收到这条 UPDATE_ROWS 事件流
3. MysqlEventParser 结合 TSDB 里的表结构,解析出带前后镜像的 Entry
4. EntryEventSink 过滤后放进 MemoryEventStoreWithBuffer 环形缓冲,put 游标前移
5. 消费端 get 取走这批事件;MQ 模式下 CanalMQStarter 先把它转成 FlatMessage JSON 投进 Kafka
6. 微服务的 MQ 消费者收到 JSON,幂等校验通过,更新 ES 和缓存
7. ack 回来,get/ack 游标前移,位点持久化到 ZK
任何一环宕机重启,都从上次 ack 的位点续传,不丢事件,代价是可能重发——所以第 6 步的幂等永远不能省。把这条链路背下来,面试被追问任何一环都能接得住。
「Canal 怎么保证宕机后不丢数据?」——答:消费基于 ack 位点,只有客户端 ack 后位点才持久化(ZK/文件);server 重启或主备切换后,从上次 ack 的 binlog 位点续传,配合 at-least-once 语义不丢,代价是可能重发,下游做幂等。
「微服务接入 canal 选 TCP 还是 MQ?」——答:多数场景选 MQ 投递——解耦、削峰、多语言、多实例天然支持,微服务只是普通消费者零侵入;TCP 直连只在低延迟、点对点、需要精确控制位点的场景用。
「多个 canal-server 怎么协调?」——答:ZK 临时节点选主,同一 destination 同一时刻只有一个 server 工作,其余 standby,主挂后临时节点消失、备机秒级接管。