← 课程目录 🚀 从零到一
📐 学习维度 阶段7 · 第28章 开源项目源码精读 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

28.3.2 Canal 源码深读(二):EventParser→Sink→Store 管道与 Disruptor 环形缓冲区

审校 2026-09-26 · 素材来源:zcode会话《Canal源码解析与SpringCloud接入实践》(项目源码分析)
📑 本篇章节导航 (共8节,点击直达)
场景:洪峰来了怎么办类比:环形跑道上的三个裁判可跑示例:感受 put/get/ack 三游标原理拆解:MemoryEventStoreWithBufferSPI 扩展踩坑清单补充:监控与运维视角面试怎么问

上一篇讲了 canal 怎么伪装 slave 拉 binlog。拉回来之后呢?每秒几千条变更事件,往哪放、怎么不丢、怎么不被生产速度打爆?这是 canal 最值得读源码的部分:一条 Parser→Sink→Store 的内存管道。

前置阅读:12.2 讲过 Netty 与事件驱动。这篇看 Canal 用环形缓冲区串起解析管道。

场景:洪峰来了怎么办

大促零点,数据库每秒上万次写入。canal 解析速度再快,下游消费(比如写 ES)也可能跟不上。

如果用无界的 LinkedList 做队列,事件堆积直到 OOM(内存溢出)。如果生产者不管消费者死活,数据就丢。canal 的答案是有界环形缓冲区 + 反压:装满了就把上游堵住,一个事件都不丢。

类比:环形跑道上的三个裁判

想象一条环形跑道,固定 1024 个格子。三个裁判各记一个数字:

写手追上读者,说明缓冲满了,写手睡觉等;读者追上写手,说明没数据,读者睡觉等。跑道长度固定,永远不扩建,所以内存永远可控。

注意 get 和 ack 是两个独立的裁判:取走(get)不代表消化完(ack)。取走之后、确认之前这段窗口里的事件,还能通过回滚重新读一遍——这是 canal 实现 at-least-once 投递语义的基础。

可跑示例:感受 put/get/ack 三游标


// canal TCP 客户端的标准消费循环,三游标语义全在这里
CanalConnector connector = CanalConnectors.newSingleConnector(
    new InetSocketAddress("{{HOST}}", 11111), "example", "", "");
connector.connect();
connector.subscribe(".*\\..*");

while (running) {
    // getWithoutAck:从 store 的 get 游标处取一批,不确认
    Message msg = connector.getWithoutAck(1000, 1L, TimeUnit.SECONDS);
    long batchId = msg.getId();
    try {
        handle(msg.getEntries());   // 你的业务处理
        connector.ack(batchId);     // 成功 → ack 游标前移
    } catch (Exception e) {
        connector.rollback(batchId); // 失败 → 回滚,下次重发这批
    }
}

注意 ack 之前出任何异常都要 rollback,否则这批数据就丢了。

原理拆解:MemoryEventStoreWithBuffer

核心类是 store 模块的 MemoryEventStoreWithBuffer,关键字段就四个:


private int     indexMask;
private Event[] entries;
private AtomicLong putSequence, getSequence, ackSequence;

为什么是数组 + 位运算

entries 是固定大小数组,容量强制 2 的幂。取下标不用取模,用 sequence & indexMask——一次位运算替代除法,而且数组内存连续,CPU 缓存行友好。这是 Disruptor 的同款思路:用数组替代链表,无 GC 压力。

反压怎么做

put 时如果发现写入位置已经追上 getSequence(缓冲满),就在 ReentrantLock + Condition 上阻塞等待;get 没数据同样阻塞。这就是有界缓冲下的反压(backpressure,下游慢了反向压制上游速度):生产快就堵 canal 自己,绝不丢事件。

三个 AtomicLong 是原子变量(无锁的并发计数器),读游标、写游标的推进靠 CAS 完成,避免重量级锁。

管道上的每一站

instance 模块本身就是工厂模式的舞台:CanalInstanceGenerator 按 destination 生成实例,Spring 配置式和 Manager 托管式各有一个 Generator 实现。启动方式还能切换 InstanceMode(SPRING/MANAGER/PLAIN),这是策略模式的选择。

多阶段协处理器

1.1.x 的性能关键在 MysqlMultiStageCoprocessor:它把解析工作拆成接收、解码、解析、投递等多个阶段,各自跑在独立线程组上,阶段之间用 Disruptor 的 RingBuffer 衔接。

像工厂流水线:一个工人只拧一颗螺丝,四个工位并行,总吞吐量远超一个人从头做到尾。单条事件延迟可能略增,但整体吞吐是 1.1.x 官方宣称性能提升 150% 的核心。

Disruptor 是谁

Disruptor 是 LMAX 开源的高性能内存队列框架,核心思想就是「固定长度数组 + 序号游标 + 无锁 CAS」。canal 没有直接嵌 Disruptor 依赖,而是在 MemoryEventStoreWithBuffer 里手写了同款结构。读 canal 这段源码,等于免费读懂了 Disruptor 的精髓。

SPI 扩展

canal 大量用 SPI(Service Provider Interface,JDK 的服务发现机制,按接口自动加载实现类)做可插拔:instance 的加载方式(SPRING/MANAGER)、投递目标都能换。最有代表性的是 client-adapter 的 OuterAdapter 接口:


@SPI("logger")  // 注解声明扩展点,默认 logger 实现
public interface OuterAdapter {
    void sync(List<Dml> dmls);  // 新增 ES/HBase/RDB 目标,实现这个就行
}

内置 logger/rdb/hbase/kudu/escore/es6x/es7x 等实现,Java ServiceLoader 自动加载。想同步到自己家的存储,写个实现类扔进 classpath 即可,不动框架一行代码。

这套机制还蔓延到别处:CanalServerWithEmbedded 里 loadCanalMetrics() 同样用 ServiceLoader 加载 metrics provider。读懂一个扩展点,就读懂了 canal 整个可插拔体系的套路——接口标 @SPI、META-INF 目录登记实现、工厂统一加载。Dubbo 的 SPI 同出一源,面试可以一并讲。

设计模式速查

这条管道里能看到:模板方法(AbstractEventParser 定骨架)、责任链(DownStreamHandler)、生产者-消费者(整个 store)、策略(BatchMode 的 ITEMS/MEMSIZE 两种批量策略)。

踩坑清单

补充:监控与运维视角

理解了三游标,canal 的运维指标就全看懂了:

canal 内置 prometheus 模块(CanalServerWithEmbedded 里通过 ServiceLoader 加载 metrics provider),接上 Prometheus + Grafana 就有现成面板。1.1.4 之后还有 canal-admin 提供 WebUI 白屏管理,instance 配置、启停、状态一站搞定。这三个运维件加上 docker 镜像,构成了完整的白屏运维能力。

排障时先看 gap:gap 满说明消费慢,去查下游;gap 空但延迟高,说明拉取或解析慢,去查 canal 自身和网络。这两个指标一分流,八成问题当场定位方向。

面试怎么问

「Cananal 的 EventStore 为什么用数组不用链表?」——答:数组容量固定且内存连续,下标用位运算(2 的幂 + indexMask),CPU 缓存友好、无 GC 压力,这是 Disruptor 环形缓冲区的同款设计。

「put/get/ack 三个游标分别干什么?」——答:put 追踪写入位置,get 追踪消费位置,ack 追踪确认位置;get 与 put 之间的差距就是积压量,ack 之前的批次可以回滚重发。

「Canal 怎么防止下游消费慢导致内存爆掉?」——答:环形缓冲区有界,写满后 put 阻塞形成反压,把压力反向传导到 binlog 拉取端,宁可延迟也不丢数据。