本文是 Canal与Elasticsearch数据同步企业级实战 的分章阅读版。
-- DDL处理:Canal比较前后表结构变化
-- 例:ALTER TABLE ADD COLUMN → Canal解析出结构变更事件
-- 投递到消费者时判断:是DML(数据变更)还是DDL(结构变更)
-- DDL直接跳过或转交给Schema Registry处理
-- 大事务处理:
-- 1. Canal按行拆分大事务为多条Event(不是按事务)
-- 2. 消费者按主键聚合,避免单条写入ES
-- 3. 用Bulk API批量写入(500-1000条/批)
-- Canal位点管理(MySQL持久化):
-- canal.instance.tsukomi.db.address = 数据库地址
-- 断点续传:重启后从上次记录的position继续消费