20K Java+AI 岗位高频考点 — 数据库迁移和数据同步是系统演进的核心能力。覆盖全量增量迁移、双写方案、Canal/Debezium CDC、DataX离线同步、数据校验、灰度切换、实时数仓同步。
| 维度 | 全量迁移 | 增量迁移 |
|---|---|---|
| 数据范围 | 所有历史数据 | 新增/变更数据 |
| 停机要求 | 通常需要维护窗口 | 不需要停机 |
| 一致性 | 简单,一次性快照 | 需保证不丢不重 |
| 实现方式 | DataX/Sqoop/导出导入 | Canal/Debezium/Binlog解析 |
| 适用场景 | 数据量小/首次迁移 | 持续同步/零停机切换 |
生产实践:通常先全量后增量,两者配合实现零停机迁移。
经典五步法:双写 + 增量同步 + 灰度切换
步骤1: 全量同步 — DataX将老库全量数据同步到新库(此时读写在老库)
步骤2: 增量同步+双写 — Canal监听老库增量,应用层开启双写(新老都写)
步骤3: 灰度读新库 — 1%流量读新库,观察数据一致性
步骤4: 全量切读 — 100%流量读新库,写仍双写
步骤5: 停止写老库 — 确认无误后,关闭老库写入,迁移完成
关键点:每一步都要做数据校验,发现问题可以随时回退到上一步。
| 风险 | 预防措施 | 回滚策略 |
|---|---|---|
| 数据丢失 | 迁移前全量备份 | 从备份恢复 |
| 数据不一致 | 双向同步+定时对账 | 切回老库读 |
| 性能影响 | 限速+低峰迁移 | 暂停迁移任务 |
| 迁移失败 | 分批迁移+断点续传 | 重跑失败批次 |
| 业务中断 | 灰度切换+监控 | DNS/网关秒级切回 |
核心原则:老库数据迁移后至少保留7天不删除,确保回滚有底。
核心架构:Framework + Reader/Writer插件体系
Job(全局任务)
└─> Task(切分后的子任务)
└─> TaskGroup(TaskGroup内多个Task共享Channel)
└─> Channel(数据传输通道,控制速率)
数据流:Source(Reader) → Channel(限速/统计) → Sink(Writer)
{
"job": {
"content": [{
"reader": {
"name": "mysqlreader",
"parameter": {
"connection": [{
"jdbcUrl": ["jdbc:mysql://old-db:3306/orders"],
"table": ["t_order"]
}],
"username": "root",
"password": "xxx",
"column": ["*"],
"splitPk": "id"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"connection": [{
"jdbcUrl": "jdbc:mysql://new-db:3306/orders",
"table": ["t_order"]
}],
"username": "root",
"password": "xxx",
"column": ["*"],
"preSql": ["truncate t_order"]
}
}
}],
"setting": {
"speed": {"channel": 4, "byte": 1048576}
}
}
}
关键参数:splitPk按主键切分实现并发,channel控制并发数,preSql迁移前执行SQL。
| 维度 | DataX | Sqoop | Kettle |
|---|---|---|---|
| 出品方 | 阿里 | Apache(Cloudera) | Pentaho |
| 架构 | 单机多线程 | Hadoop MR分布式 | 单机/GUI |
| 异构能力 | 强(支持几十种数据源) | 主要Hadoop生态 | 强(可视化ETL) |
| 性能 | 中等(单机瓶颈) | 高(分布式) | 中等 |
| 使用方式 | JSON配置 | 命令行 | 图形界面拖拽 |
| 适用场景 | 异构数据源同步 | HDFS/Hive数据导入导出 | 复杂ETL流程 |
channel数(4→8→16)ALTER TABLE DISABLE KEYS,迁移完再ENABLEbatchSize调大(如5000),减少网络往返核心思路:伪装成MySQL Slave,接收并解析Binlog
1. Canal连接MySQL,伪装成Slave
2. MySQL将Binlog推送给Canal
3. Canal解析Binlog为结构化数据(RowData)
4. 下游Client消费变更事件
前提条件:
- MySQL开启Binlog:log-bin=mysql-bin
- Binlog格式设置为ROW:binlog-format=ROW
- 创建Canal用户并授权:REPLICATION SLAVE, REPLICATION CLIENT
支持特性:GTID全局事务ID、Row/Statement/Mixed格式、多Instance隔离。
Canal Server
└─> Instance(对应一个MySQL实例)
├─> EventParser:解析Binlog事件
├─> EventSink:过滤/路由/归并
├─> EventStore:本地缓冲(RingBuffer)
└─> MetaManager:记录消费位点
HA方案:ZooKeeper选举 → Active/Standby,Active故障自动切换
部署模式:单机(开发)、集群(生产,ZK选举主备)。
// Canal Client消费Binlog并发送到Kafka
CanalConnector connector = CanalConnectors.newClusterConnector(
"zk-address:2181", "example", "canal", "canal");
connector.connect();
connector.subscribe("mydb\\..*");
while (true) {
Message message = connector.getWithoutAck(100); // 批量获取
long batchId = message.getId();
try {
for (CanalEntry.Entry entry : message.getEntries()) {
if (entry.getEntryType() == CanalEntry.EntryType.ROWDATA) {
CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
for (CanalEntry.RowData row : rowChange.getRowDatasList()) {
String topic = entry.getHeader().getTableName();
String key = row.getAfterColumns(0).getValue(); // 主键
String value = buildJson(row, rowChange.getEventType());
kafkaTemplate.send(topic, key, value).get();
}
}
}
connector.ack(batchId); // 确认消费
} catch (Exception e) {
connector.rollback(batchId); // 失败回滚,重新消费
}
}
CanalConnectors.newClusterConnector自动连接Active节点生产建议:至少部署2个Canal Server + 3个ZK节点,保证高可用。
{
"type": "UPDATE",
"table": "t_order",
"schema": "mydb",
"ts": 1700000000000,
"before": {"id": "1", "status": "CREATED", "amount": "100.00"},
"after": {"id": "1", "status": "PAID", "amount": "100.00"}
}
| 字段 | 说明 |
|---|---|
| type | INSERT/UPDATE/DELETE |
| before | 变更前数据(UPDATE/DELETE有值) |
| after | 变更后数据(INSERT/UPDATE有值) |
| ts | Binlog时间戳 |
| 维度 | Canal | Debezium |
|---|---|---|
| 数据源 | 仅MySQL | MySQL/PG/Oracle/MongoDB/SQL Server |
| 架构 | Client/Server模式 | Kafka Connect Source Connector |
| 部署 | 独立部署Canal Server | K8s/Kafka Connect集群 |
| 社区 | 阿里出品,国内活跃 | Red Hat出品,国际活跃 |
| 消息格式 | 自定义格式 | 统一CDC标准格式 |
| 扩展性 | 需自己开发Client | 直接对接Kafka生态 |
选型建议:纯MySQL场景用Canal(国内资料多),多数据源或Kafka生态用Debezium。
| 方式 | 说明 | 适用场景 |
|---|---|---|
| Kafka Connect standalone | 单节点 | 开发测试 |
| Kafka Connect distributed | 集群 | 生产环境(推荐) |
| Embedded Engine | 嵌入Java应用 | 轻量级场景 |
| Debezium Server | 独立运行,直连多种Sink | 不需要Kafka的场景 |
生产推荐:Kafka Connect distributed模式,天然支持HA和扩缩容。
{
"schema": { ... },
"payload": {
"before": {"id": 1, "name": "old_name"},
"after": {"id": 1, "name": "new_name"},
"source": {
"version": "2.4.0",
"connector": "mysql",
"name": "mydb",
"ts_ms": 1700000000,
"db": "mydb",
"table": "users",
"server_id": 1,
"gtid": "3E11FA47-71CA-11E1-9E33-C80AA9429562:1"
},
"op": "u",
"ts_ms": 1700000000123
}
}
op字段:c=create(INSERT)、u=update、d=delete、r=snapshot(全量读取)。
| 策略 | 说明 | 适用场景 |
|---|---|---|
initial | 首次全量快照,之后增量 | 默认策略,推荐 |
schema_only | 仅读取表结构,不做全量 | 已有全量数据只需增量 |
never | 从不快照,仅增量 | Binlog完整时使用 |
when_needed | 按需快照(如Binlog过期) | 安全兜底策略 |
@Configuration
public class DebeziumConfig {
@Bean
public DebeziumEngine<RecordChangeEvent<SourceRecord>> debeziumEngine() {
Properties props = new Properties();
props.setProperty("name", "order-connector");
props.setProperty("connector.class", "io.debezium.connector.mysql.MySqlConnector");
props.setProperty("database.hostname", "mysql-host");
props.setProperty("database.port", "3306");
props.setProperty("database.user", "debezium");
props.setProperty("database.password", "xxx");
props.setProperty("database.include.list", "mydb");
props.setProperty("table.include.list", "mydb.t_order");
props.setProperty("snapshot.mode", "initial");
props.setProperty("database.server.id", "184054");
props.setProperty("database.server.name", "order-server");
return DebeziumEngine.create(RecordChangeEvent.class)
.using(props)
.notifying(record -> {
SourceRecord sourceRecord = record.record();
// 处理变更事件,写入新库或发送MQ
processChange(sourceRecord);
})
.using(this.getClass().getClassLoader())
.using((success, message, error) -> {
if (!success && error != null) {
log.error("Debezium engine error", error);
}
})
.build();
}
}
双写:应用层同时写入新老数据库,保证迁移过程中数据一致性的方案。
// 双写伪代码
@Transactional
public void createOrder(Order order) {
// 写老库(主)
orderMapperOld.insert(order);
// 写新库(从)
try {
orderMapperNew.insert(order);
} catch (Exception e) {
log.error("双写新库失败", e);
// 发送MQ异步补偿
mqTemplate.send("dual-write-compensate", order);
}
}
| 方案 | 一致性 | 延迟 | 复杂度 |
|---|---|---|---|
| 同步双写 | 强一致 | 高(双写延迟) | 低 |
| 异步双写(MQ) | 最终一致 | 低 | 中 |
| Canal补偿 | 最终一致 | 低 | 高 |
推荐组合:同步双写 + Canal补偿对账。双写保证实时性,Canal补偿兜底一致性。
阶段1: 增量同步启动 — Canal/Debezium监听老库Binlog,写入新库
阶段2: 全量数据迁移 — DataX全量同步历史数据
阶段3: 代码加双写逻辑 — 应用层同时写新老库
阶段4: 对比验证 — 定时任务校验新老库数据一致性
阶段5: 灰度读新库 — 1%→10%→50%→100%流量读新库
阶段6: 停止写老库 — 确认稳定后关闭老库写入
// 幂等写入:基于唯一键的INSERT ON DUPLICATE KEY UPDATE
@Insert("INSERT INTO t_order(id,status,amount) VALUES(#{id},#{status},#{amount}) " +
"ON DUPLICATE KEY UPDATE status=#{status},amount=#{amount}")
void upsertOrder(Order order);
| 校验方式 | 说明 | 粒度 |
|---|---|---|
| count总数 | SELECT COUNT(*) FROM t_order | 表级 |
| checksum校验 | CHECKSUM TABLE t_order | 表级 |
| 抽样比对 | 随机取N条数据逐字段比对 | 行级 |
| 业务关键字段 | 比对金额、状态等核心字段 | 字段级 |
| Hash校验 | MD5(CONCAT(id,status,amount)) | 行级 |
生产实践:先count总数确认量级,再checksum确认整体一致性,最后抽样验证细节。
处理流程:
1. 发现不一致 → 定位不一致的范围(哪些表、哪些行)
2. 分析原因 → 数据丢失(迁移遗漏)/ 重复(重复写入)/ 错误(类型转换)
3. 修复数据 → 从源库重新同步不一致的数据
4. 重新校验 → 确认修复后数据一致
5. 根因分析 → 修复迁移工具bug,防止复发
// Canal监听变更 → 实时比对新老库
@Scheduled(fixedRate = 5000) // 每5秒一次
public void realTimeReconcile() {
// 1. 消费Canal变更事件
List<ChangeEvent> events = canalClient.fetch();
for (ChangeEvent event : events) {
// 2. 查询新老库对应记录
Order oldOrder = oldMapper.selectById(event.getId());
Order newOrder = newMapper.selectById(event.getId());
// 3. 比对核心字段
if (!Objects.equals(oldOrder, newOrder)) {
// 4. 自动修复
newMapper.updateById(oldOrder);
alertService.warn("数据不一致已修复: id=" + event.getId());
}
}
}
| 监控指标 | 说明 | 告警阈值 |
|---|---|---|
| 迁移速率 | 条/秒 | < 1000条/秒 |
| 延迟 | 源→目标的秒数延迟 | > 60秒 |
| 成功率 | 成功/总条数 | < 99.9% |
| 数据量进度 | 已迁移/总量百分比 | 偏离预期 |
| 错误率 | 失败条数/总条数 | > 0.1% |
Flink CDC架构:
MySQL Binlog → Flink CDC Source(内置Debezium)
↓
Flink处理(Transform/过滤/聚合)
↓
Flink Sink(ClickHouse/ES/Hudi/Kafka)
核心优势:
- 无锁读取:不锁表即可做全量+增量一致读取
- 全量+增量一体化:initial模式先全量后增量,无缝衔接
- Exactly-Once语义:Checkpoint保证数据不丢不重
// Flink CDC同步MySQL到ClickHouse
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(60000); // 1分钟Checkpoint
MySqlSource<String> source = MySqlSource.<String>builder()
.hostname("mysql-host")
.port(3306)
.databaseList("mydb")
.tableList("mydb.t_order")
.username("root")
.password("xxx")
.deserializer(new JsonDebeziumDeserializationSchema())
.startupOptions(StartupOptions.initial()) // 先全量后增量
.build();
env.fromSource(source, WatermarkStrategy.noWatermarks(), "MySQL CDC Source")
.filter(this::isValidRecord)
.map(this::transformToClickHouseRow)
.addSink(new ClickHouseSinkFunction());
env.execute("MySQL to ClickHouse CDC");
producer.send(topic, primaryKey, value)stream.keyBy(record -> record.getId()) 保证同Key到同算子
// Kafka生产者:按主键路由到同一分区
kafkaTemplate.send(topic, orderId, jsonPayload);
// 消费者:单线程消费保证顺序
@KafkaListener(topics = "order-cdc", concurrency = "4")
public void consume(List<ConsumerRecord<String, String>> records) {
records.forEach(this::processInOrder);
}
| 方案 | 原理 | 持久化位置 |
|---|---|---|
| GTID位点 | MySQL GTID全局唯一 | Canal MetaManager/ZK |
| Kafka Offset | 消费者组位点提交 | Kafka内部Topic |
| Flink Checkpoint | 定期快照状态 | HDFS/S3 |
| Debezium Offset | Binlog位点+GTID | Kafka Connect内部Topic |
恢复流程:重启 → 读取上次持久化的位点 → 从断点继续消费。
灰度切换步骤:
1%流量 → 新库 → 观察30分钟(监控错误率、延迟、数据一致性)
↓ 通过
5%流量 → 新库 → 观察1小时
↓ 通过
10%流量 → 新库 → 观察2小时
↓ 通过
50%流量 → 新库 → 观察4小时
↓ 通过
100%流量 → 新库 → 观察24小时
↓ 确认稳定
停止双写,迁移完成
每一步都要校验:错误率、响应时间、数据一致性。任何一步发现问题,秒级切回老库。
// 方案一:网关层按用户ID灰度(Spring Cloud Gateway)
@Component
public class GrayscaleRoutePredicate implements RoutePredicateFactory<Config> {
@Override
public Predicate<ServerWebExchange> apply(Config config) {
return exchange -> {
String userId = exchange.getRequest().getHeaders().getFirst("X-User-Id");
int ratio = config.getRatio(); // 灰度比例,如5表示5%
return Math.abs(userId.hashCode() % 100) < ratio;
};
}
}
// 方案二:Feature Flag控制
@GetMapping("/order/{id}")
public Order getOrder(@PathVariable Long id, @RequestHeader("X-User-Id") String userId) {
if (featureFlagService.isEnabled("read-new-db", userId)) {
return newDbOrderService.getById(id);
}
return oldDbOrderService.getById(id);
}
迁移前:
- 提前7天通知所有相关方(研发、测试、运维、业务)
- 制定详细迁移时间表和每步的负责人
- 准备回滚方案和演练记录
迁移中:
- 建立迁移Dashboard,实时展示进度和指标
- 设置On-Call值班表,关键时段专人盯守
- 每个阶段在群里同步状态
迁移后:
- 24小时观察期,持续监控
- 编写迁移复盘报告
- 总结经验教训,更新迁移SOP
| 阶段 | 工具/方案 |
|---|---|
| 全量迁移 | pgloader(推荐)、DataX(MySQL→PG) |
| 增量同步 | Debezium(MySQL Source → PG Sink) |
| SQL方言适配 | 手动改写(LIMIT/OFFSET→LIMIT/OFFSET、AUTO_INCREMENT→SERIAL) |
| 字符集 | 统一UTF-8,注意排序规则差异 |
| 自增ID | PG用SERIAL/SEQUENCE,需处理起始值 |
注意事项:MySQL的tinyint(1)映射到PG的boolean,datetime映射到timestamp。
方案:ShardingSphere路由迁移
1. 新分片规则配置完成(如8库×16表)
2. DataX按分片键路由,将老库数据分发到对应分片
3. 扩容双写:应用层同时写老单库和新的分片库
4. Canal补偿:监听老库增量同步到新分片
5. 数据校验通过后,切换ShardingSphere路由规则指向新分片
6. 停止写老库,下线旧数据源
关键点:分片键路由函数必须一致,否则数据会散列到错误的分片。
| 方案 | 说明 | 适用场景 |
|---|---|---|
| Reindex API | _reindex远程跨集群复制 | 同版本小数据量 |
| Logstash | input(es) → output(es) | 需要ETL转换 |
| Snapshot/Restore | 快照备份恢复 | 大数据量离线 |
| CCR(跨集群复制) | Elasticsearch官方跨集群同步 | 实时持续同步 |
// Reindex API
POST _reindex
{
"source": {"remote": {"host": "http://old-es:9200"}, "index": "orders"},
"dest": {"index": "orders_new"}
}
| 方案 | 说明 | 适用场景 |
|---|---|---|
| Redis-shake | 阿里出品,支持全量+增量 | 跨版本/跨集群迁移 |
| RDB/AOF重放 | 拷贝RDB文件到新节点重启 | 同版本离线迁移 |
| SCAN+DUMP/RESTORE | 逐Key迁移 | 部分Key迁移 |
| Cluster Reshard | redis-cli --cluster reshard | 集群扩缩容 |
生产推荐:Redis-shake,支持断点续传和增量同步。
核心挑战:双向同步+冲突解决
双向同步方案:
1. Canal双向:机房A的Canal→机房B,机房B的Canal→机房A
2. 冲突解决:基于时间戳(后写入覆盖)或版本号(乐观锁)
3. 单元化路由:同一用户请求始终路由到同一机房(写本机房,读本机房)
4. 全局唯一ID:Snowflake生成唯一ID,避免双写主键冲突
防环回:
- 每条Binlog标记来源机房ID
- 消费时过滤掉非本机房产生的Binlog
方案一:CDC → Kafka → Hudi(推荐)
MySQL → Debezium → Kafka → Flink → Hudi Table
支持Upsert语义,ACID事务
方案二:批量同步 → Hive
DataX定时同步MySQL → Hive分区表
适合T+1离线分析
方案三:Flink SQL写入数据湖
Flink CDC Source → Flink SQL Transform → Hudi/Iceberg Sink
实时入湖,支持增量查询
数据湖选型:
- Hudi:支持Upsert,适合CDC场景
- Iceberg:查询性能好,适合分析场景
- Delta Lake:Databricks生态,Spark友好
架构设计:
┌──────────────────────────────────────┐
│ Web UI 配置界面 │
├──────────────────────────────────────┤
│ 任务注册中心(任务管理) │
├──────────┬──────────┬────────────────┤
│ 全量同步 │ 增量同步 │ CDC实时同步 │
│ DataX │ Canal │ Flink CDC │
├──────────┴──────────┴────────────────┤
│ 抽象层:Source ←→ Channel ←→ Sink │
├──────────────────────────────────────┤
│ 监控告警(延迟/吞吐/错误率/对账) │
└──────────────────────────────────────┘
核心抽象:
- Source:定义数据源连接和读取方式
- Sink:定义目标写入方式
- Transform:字段映射、过滤、转换规则
- Task:一个完整的Source→Transform→Sync流水线
consumer.poll(500)一次拉取更多消息
// 批量消费优化
@KafkaListener(topics = "canal-data", batch = "true")
public void batchConsume(List<ConsumerRecord<String, String>> records) {
// 按表分组,批量写入
Map<String, List<ConsumerRecord>> grouped = records.stream()
.collect(Collectors.groupingBy(r -> extractTable(r)));
grouped.forEach((table, list) -> batchInsert(table, list));
}
| 方案 | 实现 | 适用场景 |
|---|---|---|
| 唯一键Upsert | INSERT ON DUPLICATE KEY UPDATE | DB到DB |
| 消费位点幂等 | 记录已消费的offset,重复消费跳过 | Kafka消费 |
| 版本号去重 | 每条记录带version字段,只接受更新的版本 | 乱序场景 |
| 时间戳去重 | update_time比较,只更新更新的数据 | 实时同步 |
| 全局唯一ID | Snowflake生成唯一ID,天然幂等 | 新数据写入 |
WHERE id BETWEEN 1 AND 10000,小批量多次SELECT INTO OUTFILE → LOAD DATA INFILE,不走事务SET FOREIGN_KEY_CHECKS=0,迁移完再开启
-- pt-archiver分批迁移
pt-archiver \
--source h=old-db,D=mydb,t=t_order \
--dest h=new-db,D=mydb,t=t_order \
--where "id BETWEEN 1 AND 10000000" \
--limit 1000 \
--commit-each \
--progress 1000
监控体系:
1. 延迟监控:源端Binlog时间戳 vs 目标端写入时间,差值即为延迟
2. 吞吐量监控:每秒同步的记录数(条/秒)
3. 错误率监控:失败记录数/总记录数
4. 数据一致性巡检:定时count/checksum比对新老库
5. 告警规则:延迟>60s、错误率>0.1%、同步中断
工具:
- Prometheus + Grafana:采集指标+可视化
- Canal Admin:Canal官方管理界面
- Kafka Manager:监控Kafka消费积压
- 自研Dashboard:汇总所有同步任务状态
dirty.data文件core.transport.channel.retry配置重试次数
// DataX错误处理配置
"setting": {
"speed": {"channel": 4},
"errorLimit": {"record": 100, "percentage": 0.1},
"restore": {
"isRestore": true,
"restoreColumnName": "id",
"restoreColumnValue": "100000"
}
}
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| MySQL → MySQL | Canal | 国内生态好,文档丰富 |
| 多数据源(PG/Oracle/MongoDB) | Debezium | 支持多种数据源 |
| 实时数仓同步 | Flink CDC | 算力强,Exactly-Once |
| 轻量级嵌入式 | Debezium Embedded | 无需额外部署 |
| 已有Kafka生态 | Debezium + Kafka Connect | 天然集成 |
"我们采用零停机双写方案。全量用DataX分批迁移,增量用Canal实时同步。应用层灰度切读,1%→10%→50%→100%逐步切换。每步做数据校验(count总数+抽样比对+实时对账),异常秒级回滚到老库。全程监控延迟和一致性,迁移完成后老库保留7天才下线。整个迁移过程用户无感知,零停机完成。"
加分点:提到具体的工具、比例、校验手段、回滚策略、保留周期。
| 坑 | 原因 | 解决方案 |
|---|---|---|
| 字符集不一致→乱码 | 老库GBK,新库UTF-8 | 统一字符集,DataX配置encoding |
| 自增ID冲突→主键冲突 | 双写时新老库都自增 | 使用Snowflake全局唯一ID |
| 时区问题→时间偏差 | 服务器时区不一致 | 统一JDBC时区serverTimezone=Asia/Shanghai |
| 大字段(BLOB)迁移慢 | 网络传输瓶颈 | 单独线程迁移大字段,分批读取 |
| 外键约束依赖顺序 | 先插子表报外键错误 | 按依赖顺序迁移,或临时关闭外键检查 |
| Binlog过期 | 迁移期间Binlog被清理 | 调大expire_logs_days到迁移结束 |
| 趋势 | 说明 |
|---|---|
| CDC实时化 | Flink CDC统一全量+增量,无锁读取成为标配 |
| 云原生 | Debezium on K8s,Operator管理CDC任务生命周期 |
| 低代码平台 | DataFlux/Tapdata等拖拽式数据同步平台 |
| 数据编织(Data Fabric) | 统一管理分散数据源,虚拟化数据访问 |
| AI辅助数据映射 | AI自动识别字段语义,推荐映射规则和转换逻辑 |
| 实时湖仓一体 | CDC直写Hudi/Iceberg,分钟级数据可见 |
迁移三步:全量迁移(DataX) → 增量同步(Canal/Debezium) → 灰度切换(1%→100%)
>
双写三保证:幂等(Upsert)、补偿(Canal对账)、灰度(逐步切读)
>
CDC三选型:MySQL→Canal、多数据源→Debezium、实时数仓→Flink CDC
>
校验四招:总数比对、Checksum校验、抽样核实、实时对账
>
回滚三件套:秒级切回老库(网关/DNS)、老库保持可写、数据至少保留7天