← 课程目录 🚀 从零到一
📐 学习维度 阶段7 · 第28章 开源项目源码精读 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

28.3.1 Canal 源码深读(一):binlog 订阅原理与伪装 Slave 的 dump 协议

审校 2026-09-26 · 素材来源:zcode会话《Canal源码解析与SpringCloud接入实践》(项目源码分析)
📑 本篇章节导航 (共7节,点击直达)
场景:双写的痛点类比:混进主从复制的队伍可跑示例:亲手体验伪装 slave原理拆解:canal 是怎么「装成从库」的踩坑清单面试怎么问补充:binlog 事件类型速查

业务改一条订单,缓存和 ES 里的旧数据怎么办?很多人第一反应是「双写」:改完库再改缓存。双写一旦中间挂掉,数据就永久不一致了。Canal 给了另一条路:不侵入业务代码,直接从 MySQL 的 binlog 里「订阅」变更。

前置阅读:17.3 提过 canal 能做数据订阅。这篇进源码,看它怎么伪装 Slave 抓 binlog。

场景:双写的痛点

订单服务更新数据库成功,接着写 Redis 失败。这时候库里是新数据,缓存是旧的,用户看到的价格还是昨天的。

用触发器(trigger,数据库里的钩子脚本)也能做,但耦合数据库、性能差、DBA 第一个反对。

Canal 的思路是:数据库变更本来就会写进 binlog(MySQL 的二进制变更日志,主从复制的基石)。既然从库能靠它同步数据,我为什么不能伪装成一个从库,也拉一份?

类比:混进主从复制的队伍

MySQL 主从复制像一支快递队伍:主库发货,每个从库报上名号领货。

Canal 干的事就是「假扮从库」——向主库注册一个 slave 身份,主库就源源不断把 binlog 事件推过来。canal 这个词本意就是「水道」,数据像水一样从源头流到下游。

可跑示例:亲手体验伪装 slave


# 1. MySQL 侧准备(在 {{HOST}} 上执行)
#   my.cnf 开启 ROW 模式,这是 canal 的硬要求
#   log-bin=mysql-bin
#   binlog-format=ROW
#   binlog_row_image=FULL
CREATE USER canal@'%' IDENTIFIED BY '{{DEMO_PASS}}';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

# 2. 本地用官方客户端直接订阅(不需要部署 server)
#   SimpleCanalConnector 直连,用户名/密码用占位符

// 用 mysql-connector 手动模拟 canal 干的事,理解 dump 协议
// 核心两步:COM_REGISTER_SLAVE 注册,BINLOG_DUMP 开始拉流
Connection conn = DriverManager.getConnection(
    "jdbc:mysql://{{HOST}}:3306", "canal", "{{DEMO_PASS}}");
// 伪代码:发送注册命令后,socket 上开始流入 binlog 事件字节流
// canal 的 MysqlConnection封装的就是这个流程

原理拆解:canal 是怎么「装成从库」的

先看源码工程的整体形态:canal 是个聚合多 module 的 Maven 工程,module 排列本身就是一条数据流管道。

Module关键类职责
driverMysqlConnection建立主从复制协议连接
parseMysqlEventParser、MultiStageCoprocessor拉 binlog、解析成 Entry
sinkEntryEventSink把事件投递到 store
storeMemoryEventStoreWithBuffer环形缓冲区存事件
serverCanalServerWithEmbedded、CanalMQStarterTCP 或 MQ 两种投递
metaMixedMetaManager记录消费位点
deployerCanalController进程启动入口、HA 选主

从字节到 Entry 的完整旅程

binlog 事件到达后,解析器要做四件事:

1. 读事件头:每个事件固定 19 字节头,含时间戳、类型、长度

2. 按类型分发:QUERY、WRITE_ROWS、UPDATE_ROWS、DELETE_ROWS、XID 等

3. 还原行数据:结合表结构把字段序号翻译成列名和值

4. 组装 Entry:输出带库表信息、变更前后镜像的 protobuf 结构

ROW 模式下一条 UPDATE 会带变更前、变更后两份行镜像。下游做缓存对比、ES 增量更新都靠这两份数据,这也是为什么 binlog_row_image 必须 FULL——Minimal 模式只记变更列,前镜像残缺。

为什么说这是「异构同步」的正解

canal 官方定位是解决异构数据同步(把同一份数据同步到不同存储):缓存刷新、ES 索引构建、实时数仓、跨机房同步、CQRS(读写分离架构,写走库、读走投影模型)读模型维护,全都适用。

对比三种方案的优劣:

方案侵入性可靠性实时性
业务双写高(改所有写路径)低(中间失败即不一致)高
数据库 trigger中(侵入数据库)中高
binlog 订阅零(不动业务和库)高(日志是事实源头)秒级

binlog 是 MySQL 已经写好的变更流水,canal 只是读了它一份,业务代码一行不动,这是架构上最干净的增量获取方式。

协议层:driver 模块

driver 模块的 MysqlConnection 负责建立 MySQL 主从复制协议连接。流程三步:

1. 认证握手:像普通客户端一样完成登录认证

2. 注册 slave:发送 COM_REGISTER_SLAVE 命令,报上自己的 serverId

3. 请求 dump:发送 BINLOG_DUMP 命令,带上要起始的位点(position,binlog 文件名+偏移量)

之后 MySQL master 就把 binlog 事件流主动推过来。注意这是长连接流式推送,不是 JDBC 轮询,延迟低、对源库压力小。

解析层:parse 模块

parse 模块的 MysqlEventParser 是主角。它拿到原始字节流后,由 AbstractBinlogParser 一族的解析器把事件还原成结构化的 Entry(canal 自己的 protobuf 格式,带库名、表名、变更类型、行数据)。

1.1.x 还有个性能杀器:MultiStageCoprocessor(多阶段协处理器)。它把「接收 → 解码 → 解析 → 投递」拆成多个 stage,用 Disruptor 流水线并行。这是 canal 1.1.x 性能提升约 150% 的关键,典型的流水线并行思想。

表结构难题:TSDB

binlog 里只有字段序号,没有列名。线上执行一次 DDL 加了列,字段就错位了。

canal 用 TSDB(时序表结构库,内存 + 文件/H2 存储)记录每个时刻的表结构快照。回放历史 binlog 时按当时的结构解析,字段映射始终正确。

整体管道


driver → parse → sink → store → server → client
连MySQL  拉binlog  投递   环形缓冲  Netty/MQ   消费端

sink 模块的 EntryEventSink 把解析结果投进 store;server 模块通过 TCP(protobuf 协议)或 Kafka/RocketMQ 对外暴露。这就是一条从库到消费端的完整水道。

多实例部署的坑与解

单机 canal 有单点风险,生产一般多实例 + ZK 选主,这部分细节下一篇展开。这里先记结论:TCP 客户端多实例消费同一 destination 必须走集群连接器,否则互相覆盖位点。

踩坑清单

面试怎么问

「Canal 是怎么拿到 MySQL 增量数据的?」——答:伪装成 MySQL slave,通过主从复制协议发送 COM_REGISTER_SLAVE 和 BINLOG_DUMP 命令,master 把 binlog 事件流长连接推过来,canal 在内存里解析成结构化的 Entry 再投递给下游。

「为什么不直接用 JDBC 轮询增量?」——答:轮询有延迟、对源库压力大、且无法可靠感知删除;binlog 是变更的事实源头,基于日志解析零业务侵入。

「binlog 解析时表结构变了怎么办?」——答:canal 的 TSDB 记录每个时刻的表结构快照,按 binlog 事件发生时的结构回放解析,DDL 前后不会错位。

补充:binlog 事件类型速查

读 canal 日志时会看到各种事件名,对照这张表:

事件含义canal 里的用途
QUERY执行了一条 SQL事务边界、DDL 识别
WRITE_ROWS插入行数据还原 INSERT 事件
UPDATE_ROWS更新行数据还原 UPDATE,带前后镜像
DELETE_ROWS删除行数据还原 DELETE
XID事务提交一个事务的结束标记
ROTATEbinlog 文件切换位点跨文件时的锚点

canal 按 XID 把事件聚成事务批次投递,下游能拿到完整的事务边界,做按事务回放或对账都有据可依。

另一个容易忽略的细节:伪装 slave 拉流是顺序流,MySQL 按 binlog 写入顺序推送。这意味着同一个表的变更顺序在 canal 侧完全保序,下游按序处理就不会出现「后写的更新先到」的乱序问题。但跨表、跨库的先后只是「提交顺序」,不是严格因果,依赖外键时序的业务要自己留意。