业务改一条订单,缓存和 ES 里的旧数据怎么办?很多人第一反应是「双写」:改完库再改缓存。双写一旦中间挂掉,数据就永久不一致了。Canal 给了另一条路:不侵入业务代码,直接从 MySQL 的 binlog 里「订阅」变更。
前置阅读:17.3 提过 canal 能做数据订阅。这篇进源码,看它怎么伪装 Slave 抓 binlog。
订单服务更新数据库成功,接着写 Redis 失败。这时候库里是新数据,缓存是旧的,用户看到的价格还是昨天的。
用触发器(trigger,数据库里的钩子脚本)也能做,但耦合数据库、性能差、DBA 第一个反对。
Canal 的思路是:数据库变更本来就会写进 binlog(MySQL 的二进制变更日志,主从复制的基石)。既然从库能靠它同步数据,我为什么不能伪装成一个从库,也拉一份?
MySQL 主从复制像一支快递队伍:主库发货,每个从库报上名号领货。
Canal 干的事就是「假扮从库」——向主库注册一个 slave 身份,主库就源源不断把 binlog 事件推过来。canal 这个词本意就是「水道」,数据像水一样从源头流到下游。
# 1. MySQL 侧准备(在 {{HOST}} 上执行)
# my.cnf 开启 ROW 模式,这是 canal 的硬要求
# log-bin=mysql-bin
# binlog-format=ROW
# binlog_row_image=FULL
CREATE USER canal@'%' IDENTIFIED BY '{{DEMO_PASS}}';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
# 2. 本地用官方客户端直接订阅(不需要部署 server)
# SimpleCanalConnector 直连,用户名/密码用占位符
// 用 mysql-connector 手动模拟 canal 干的事,理解 dump 协议
// 核心两步:COM_REGISTER_SLAVE 注册,BINLOG_DUMP 开始拉流
Connection conn = DriverManager.getConnection(
"jdbc:mysql://{{HOST}}:3306", "canal", "{{DEMO_PASS}}");
// 伪代码:发送注册命令后,socket 上开始流入 binlog 事件字节流
// canal 的 MysqlConnection封装的就是这个流程
先看源码工程的整体形态:canal 是个聚合多 module 的 Maven 工程,module 排列本身就是一条数据流管道。
| Module | 关键类 | 职责 |
|---|---|---|
driver | MysqlConnection | 建立主从复制协议连接 |
parse | MysqlEventParser、MultiStageCoprocessor | 拉 binlog、解析成 Entry |
sink | EntryEventSink | 把事件投递到 store |
store | MemoryEventStoreWithBuffer | 环形缓冲区存事件 |
server | CanalServerWithEmbedded、CanalMQStarter | TCP 或 MQ 两种投递 |
meta | MixedMetaManager | 记录消费位点 |
deployer | CanalController | 进程启动入口、HA 选主 |
binlog 事件到达后,解析器要做四件事:
1. 读事件头:每个事件固定 19 字节头,含时间戳、类型、长度
2. 按类型分发:QUERY、WRITE_ROWS、UPDATE_ROWS、DELETE_ROWS、XID 等
3. 还原行数据:结合表结构把字段序号翻译成列名和值
4. 组装 Entry:输出带库表信息、变更前后镜像的 protobuf 结构
ROW 模式下一条 UPDATE 会带变更前、变更后两份行镜像。下游做缓存对比、ES 增量更新都靠这两份数据,这也是为什么 binlog_row_image 必须 FULL——Minimal 模式只记变更列,前镜像残缺。
canal 官方定位是解决异构数据同步(把同一份数据同步到不同存储):缓存刷新、ES 索引构建、实时数仓、跨机房同步、CQRS(读写分离架构,写走库、读走投影模型)读模型维护,全都适用。
对比三种方案的优劣:
| 方案 | 侵入性 | 可靠性 | 实时性 |
|---|---|---|---|
| 业务双写 | 高(改所有写路径) | 低(中间失败即不一致) | 高 |
| 数据库 trigger | 中(侵入数据库) | 中 | 高 |
| binlog 订阅 | 零(不动业务和库) | 高(日志是事实源头) | 秒级 |
binlog 是 MySQL 已经写好的变更流水,canal 只是读了它一份,业务代码一行不动,这是架构上最干净的增量获取方式。
driver 模块的 MysqlConnection 负责建立 MySQL 主从复制协议连接。流程三步:
1. 认证握手:像普通客户端一样完成登录认证
2. 注册 slave:发送 COM_REGISTER_SLAVE 命令,报上自己的 serverId
3. 请求 dump:发送 BINLOG_DUMP 命令,带上要起始的位点(position,binlog 文件名+偏移量)
之后 MySQL master 就把 binlog 事件流主动推过来。注意这是长连接流式推送,不是 JDBC 轮询,延迟低、对源库压力小。
parse 模块的 MysqlEventParser 是主角。它拿到原始字节流后,由 AbstractBinlogParser 一族的解析器把事件还原成结构化的 Entry(canal 自己的 protobuf 格式,带库名、表名、变更类型、行数据)。
1.1.x 还有个性能杀器:MultiStageCoprocessor(多阶段协处理器)。它把「接收 → 解码 → 解析 → 投递」拆成多个 stage,用 Disruptor 流水线并行。这是 canal 1.1.x 性能提升约 150% 的关键,典型的流水线并行思想。
binlog 里只有字段序号,没有列名。线上执行一次 DDL 加了列,字段就错位了。
canal 用 TSDB(时序表结构库,内存 + 文件/H2 存储)记录每个时刻的表结构快照。回放历史 binlog 时按当时的结构解析,字段映射始终正确。
driver → parse → sink → store → server → client
连MySQL 拉binlog 投递 环形缓冲 Netty/MQ 消费端
sink 模块的 EntryEventSink 把解析结果投进 store;server 模块通过 TCP(protobuf 协议)或 Kafka/RocketMQ 对外暴露。这就是一条从库到消费端的完整水道。
单机 canal 有单点风险,生产一般多实例 + ZK 选主,这部分细节下一篇展开。这里先记结论:TCP 客户端多实例消费同一 destination 必须走集群连接器,否则互相覆盖位点。
「Canal 是怎么拿到 MySQL 增量数据的?」——答:伪装成 MySQL slave,通过主从复制协议发送 COM_REGISTER_SLAVE 和 BINLOG_DUMP 命令,master 把 binlog 事件流长连接推过来,canal 在内存里解析成结构化的 Entry 再投递给下游。
「为什么不直接用 JDBC 轮询增量?」——答:轮询有延迟、对源库压力大、且无法可靠感知删除;binlog 是变更的事实源头,基于日志解析零业务侵入。
「binlog 解析时表结构变了怎么办?」——答:canal 的 TSDB 记录每个时刻的表结构快照,按 binlog 事件发生时的结构回放解析,DDL 前后不会错位。
读 canal 日志时会看到各种事件名,对照这张表:
| 事件 | 含义 | canal 里的用途 |
|---|---|---|
| QUERY | 执行了一条 SQL | 事务边界、DDL 识别 |
| WRITE_ROWS | 插入行数据 | 还原 INSERT 事件 |
| UPDATE_ROWS | 更新行数据 | 还原 UPDATE,带前后镜像 |
| DELETE_ROWS | 删除行数据 | 还原 DELETE |
| XID | 事务提交 | 一个事务的结束标记 |
| ROTATE | binlog 文件切换 | 位点跨文件时的锚点 |
canal 按 XID 把事件聚成事务批次投递,下游能拿到完整的事务边界,做按事务回放或对账都有据可依。
另一个容易忽略的细节:伪装 slave 拉流是顺序流,MySQL 按 binlog 写入顺序推送。这意味着同一个表的变更顺序在 canal 侧完全保序,下游按序处理就不会出现「后写的更新先到」的乱序问题。但跨表、跨库的先后只是「提交顺序」,不是严格因果,依赖外键时序的业务要自己留意。