上一篇讲了 canal 怎么伪装 slave 拉 binlog。拉回来之后呢?每秒几千条变更事件,往哪放、怎么不丢、怎么不被生产速度打爆?这是 canal 最值得读源码的部分:一条 Parser→Sink→Store 的内存管道。
前置阅读:12.2 讲过 Netty 与事件驱动。这篇看 Canal 用环形缓冲区串起解析管道。
大促零点,数据库每秒上万次写入。canal 解析速度再快,下游消费(比如写 ES)也可能跟不上。
如果用无界的 LinkedList 做队列,事件堆积直到 OOM(内存溢出)。如果生产者不管消费者死活,数据就丢。canal 的答案是有界环形缓冲区 + 反压:装满了就把上游堵住,一个事件都不丢。
想象一条环形跑道,固定 1024 个格子。三个裁判各记一个数字:
写手追上读者,说明缓冲满了,写手睡觉等;读者追上写手,说明没数据,读者睡觉等。跑道长度固定,永远不扩建,所以内存永远可控。
注意 get 和 ack 是两个独立的裁判:取走(get)不代表消化完(ack)。取走之后、确认之前这段窗口里的事件,还能通过回滚重新读一遍——这是 canal 实现 at-least-once 投递语义的基础。
// canal TCP 客户端的标准消费循环,三游标语义全在这里
CanalConnector connector = CanalConnectors.newSingleConnector(
new InetSocketAddress("{{HOST}}", 11111), "example", "", "");
connector.connect();
connector.subscribe(".*\\..*");
while (running) {
// getWithoutAck:从 store 的 get 游标处取一批,不确认
Message msg = connector.getWithoutAck(1000, 1L, TimeUnit.SECONDS);
long batchId = msg.getId();
try {
handle(msg.getEntries()); // 你的业务处理
connector.ack(batchId); // 成功 → ack 游标前移
} catch (Exception e) {
connector.rollback(batchId); // 失败 → 回滚,下次重发这批
}
}
注意 ack 之前出任何异常都要 rollback,否则这批数据就丢了。
核心类是 store 模块的 MemoryEventStoreWithBuffer,关键字段就四个:
private int indexMask;
private Event[] entries;
private AtomicLong putSequence, getSequence, ackSequence;
entries 是固定大小数组,容量强制 2 的幂。取下标不用取模,用 sequence & indexMask——一次位运算替代除法,而且数组内存连续,CPU 缓存行友好。这是 Disruptor 的同款思路:用数组替代链表,无 GC 压力。
put 时如果发现写入位置已经追上 getSequence(缓冲满),就在 ReentrantLock + Condition 上阻塞等待;get 没数据同样阻塞。这就是有界缓冲下的反压(backpressure,下游慢了反向压制上游速度):生产快就堵 canal 自己,绝不丢事件。
三个 AtomicLong 是原子变量(无锁的并发计数器),读游标、写游标的推进靠 CAS 完成,避免重量级锁。
AbstractEventParser 模板方法):拉 binlog、解析成 EntryAbstractCanalEventSink):管道的阀门,负责过滤、投递到 store;CanalEventDownStreamHandler 链式后置处理事件,是责任链模式MemoryEventStoreWithBuffer):环形缓冲,管存取和 ackCanalInstanceWithSpring 把 parser + sink + store + MetaManager(位点管理器)组装成一个「数据源实例」,每个 destination 一个instance 模块本身就是工厂模式的舞台:CanalInstanceGenerator 按 destination 生成实例,Spring 配置式和 Manager 托管式各有一个 Generator 实现。启动方式还能切换 InstanceMode(SPRING/MANAGER/PLAIN),这是策略模式的选择。
1.1.x 的性能关键在 MysqlMultiStageCoprocessor:它把解析工作拆成接收、解码、解析、投递等多个阶段,各自跑在独立线程组上,阶段之间用 Disruptor 的 RingBuffer 衔接。
像工厂流水线:一个工人只拧一颗螺丝,四个工位并行,总吞吐量远超一个人从头做到尾。单条事件延迟可能略增,但整体吞吐是 1.1.x 官方宣称性能提升 150% 的核心。
Disruptor 是 LMAX 开源的高性能内存队列框架,核心思想就是「固定长度数组 + 序号游标 + 无锁 CAS」。canal 没有直接嵌 Disruptor 依赖,而是在 MemoryEventStoreWithBuffer 里手写了同款结构。读 canal 这段源码,等于免费读懂了 Disruptor 的精髓。
canal 大量用 SPI(Service Provider Interface,JDK 的服务发现机制,按接口自动加载实现类)做可插拔:instance 的加载方式(SPRING/MANAGER)、投递目标都能换。最有代表性的是 client-adapter 的 OuterAdapter 接口:
@SPI("logger") // 注解声明扩展点,默认 logger 实现
public interface OuterAdapter {
void sync(List<Dml> dmls); // 新增 ES/HBase/RDB 目标,实现这个就行
}
内置 logger/rdb/hbase/kudu/escore/es6x/es7x 等实现,Java ServiceLoader 自动加载。想同步到自己家的存储,写个实现类扔进 classpath 即可,不动框架一行代码。
这套机制还蔓延到别处:CanalServerWithEmbedded 里 loadCanalMetrics() 同样用 ServiceLoader 加载 metrics provider。读懂一个扩展点,就读懂了 canal 整个可插拔体系的套路——接口标 @SPI、META-INF 目录登记实现、工厂统一加载。Dubbo 的 SPI 同出一源,面试可以一并讲。
这条管道里能看到:模板方法(AbstractEventParser 定骨架)、责任链(DownStreamHandler)、生产者-消费者(整个 store)、策略(BatchMode 的 ITEMS/MEMSIZE 两种批量策略)。
理解了三游标,canal 的运维指标就全看懂了:
canal 内置 prometheus 模块(CanalServerWithEmbedded 里通过 ServiceLoader 加载 metrics provider),接上 Prometheus + Grafana 就有现成面板。1.1.4 之后还有 canal-admin 提供 WebUI 白屏管理,instance 配置、启停、状态一站搞定。这三个运维件加上 docker 镜像,构成了完整的白屏运维能力。
排障时先看 gap:gap 满说明消费慢,去查下游;gap 空但延迟高,说明拉取或解析慢,去查 canal 自身和网络。这两个指标一分流,八成问题当场定位方向。
「Cananal 的 EventStore 为什么用数组不用链表?」——答:数组容量固定且内存连续,下标用位运算(2 的幂 + indexMask),CPU 缓存友好、无 GC 压力,这是 Disruptor 环形缓冲区的同款设计。
「put/get/ack 三个游标分别干什么?」——答:put 追踪写入位置,get 追踪消费位置,ack 追踪确认位置;get 与 put 之间的差距就是积压量,ack 之前的批次可以回滚重发。
「Canal 怎么防止下游消费慢导致内存爆掉?」——答:环形缓冲区有界,写满后 put 阻塞形成反压,把压力反向传导到 binlog 拉取端,宁可延迟也不丢数据。