Canal与Elasticsearch数据同步企业级实战 - Canal架构原理
本文是 Canal与Elasticsearch数据同步企业级实战 的分章阅读版。
Canal架构原理
MySQL Master
│ binlog(ROW模式)
▼
┌─────────────────────────────────────────┐
│ Canal Server │
│ ┌──────────────┐ ┌──────────────────┐ │
│ │ EventParser │→│ EventSink(过滤) │ │
│ │ (解析binlog) │ │ (表名/类型过滤) │ │
│ └──────────────┘ └────────┬─────────┘ │
│ ▼ │
│ ┌──────────────────┐ │
│ │ EventStore(内存) │ │
│ │ (RingBuffer环形) │ │
│ └────────┬─────────┘ │
│ ▼ │
│ ┌──────────┐ ┌──────────────────┐ │
│ │ MetaMger │ │ EventSink(投递) │ │
│ │ (位点管理)│ │ (TCP/MQ/REST) │ │
│ └──────────┘ └──────────────────┘ │
└─────────────────────────────────────────┘
Canal伪装成MySQL Slave的流程:
1. SHOW MASTER STATUS → 获取当前binlog文件和position
2. REGISTER SLAVE → 向MySQL注册为Slave
3. BINLOG_DUMP → 持续接收binlog事件
4. 解析binlog ROW模式 → 提取表名/列名/变更前后数据
面试话术:"Canal本质是一个伪装成MySQL Slave的binlog监听器。
用ROW模式binlog可以拿到完整的前后镜像(before+after),
比STATEMENT模式更可靠(不含函数/存储过程的不确定性)。"
相关页面