← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共11章,点击直达)
一、数据迁移基础二、全量迁移工具三、增量同步 — Canal四、增量同步 — Debezium五、双写方案六、数据校验七、实时数据同步八、灰度切换九、实战场景题十、面试高频综合题面试速记口诀

Q109 数据库迁移与数据同步实战

20K Java+AI 岗位高频考点 — 数据库迁移和数据同步是系统演进的核心能力。覆盖全量增量迁移、双写方案、Canal/Debezium CDC、DataX离线同步、数据校验、灰度切换、实时数仓同步。

一、数据迁移基础

1. 数据迁移的常见场景?

2. 全量迁移 vs 增量迁移?

维度全量迁移增量迁移
数据范围所有历史数据新增/变更数据
停机要求通常需要维护窗口不需要停机
一致性简单,一次性快照需保证不丢不重
实现方式DataX/Sqoop/导出导入Canal/Debezium/Binlog解析
适用场景数据量小/首次迁移持续同步/零停机切换

生产实践:通常先全量后增量,两者配合实现零停机迁移。

3. 零停机数据迁移的方案?

经典五步法:双写 + 增量同步 + 灰度切换


步骤1: 全量同步 — DataX将老库全量数据同步到新库(此时读写在老库)
步骤2: 增量同步+双写 — Canal监听老库增量,应用层开启双写(新老都写)
步骤3: 灰度读新库 — 1%流量读新库,观察数据一致性
步骤4: 全量切读 — 100%流量读新库,写仍双写
步骤5: 停止写老库 — 确认无误后,关闭老库写入,迁移完成

关键点:每一步都要做数据校验,发现问题可以随时回退到上一步。

4. 数据迁移的风险和回滚策略?

风险预防措施回滚策略
数据丢失迁移前全量备份从备份恢复
数据不一致双向同步+定时对账切回老库读
性能影响限速+低峰迁移暂停迁移任务
迁移失败分批迁移+断点续传重跑失败批次
业务中断灰度切换+监控DNS/网关秒级切回

核心原则:老库数据迁移后至少保留7天不删除,确保回滚有底。


二、全量迁移工具

5. DataX的架构原理?

核心架构:Framework + Reader/Writer插件体系


Job(全局任务)
 └─> Task(切分后的子任务)
      └─> TaskGroup(TaskGroup内多个Task共享Channel)
           └─> Channel(数据传输通道,控制速率)

数据流:Source(Reader) → Channel(限速/统计) → Sink(Writer)

6. DataX的核心配置?


{
  "job": {
    "content": [{
      "reader": {
        "name": "mysqlreader",
        "parameter": {
          "connection": [{
            "jdbcUrl": ["jdbc:mysql://old-db:3306/orders"],
            "table": ["t_order"]
          }],
          "username": "root",
          "password": "xxx",
          "column": ["*"],
          "splitPk": "id"
        }
      },
      "writer": {
        "name": "mysqlwriter",
        "parameter": {
          "connection": [{
            "jdbcUrl": "jdbc:mysql://new-db:3306/orders",
            "table": ["t_order"]
          }],
          "username": "root",
          "password": "xxx",
          "column": ["*"],
          "preSql": ["truncate t_order"]
        }
      }
    }],
    "setting": {
      "speed": {"channel": 4, "byte": 1048576}
    }
  }
}

关键参数:splitPk按主键切分实现并发,channel控制并发数,preSql迁移前执行SQL。

7. DataX vs Sqoop vs Kettle?

维度DataXSqoopKettle
出品方阿里Apache(Cloudera)Pentaho
架构单机多线程Hadoop MR分布式单机/GUI
异构能力强(支持几十种数据源)主要Hadoop生态强(可视化ETL)
性能中等(单机瓶颈)高(分布式)中等
使用方式JSON配置命令行图形界面拖拽
适用场景异构数据源同步HDFS/Hive数据导入导出复杂ETL流程

8. 如何加速全量迁移?


三、增量同步 — Canal

9. Canal的工作原理?

核心思路:伪装成MySQL Slave,接收并解析Binlog


1. Canal连接MySQL,伪装成Slave
2. MySQL将Binlog推送给Canal
3. Canal解析Binlog为结构化数据(RowData)
4. 下游Client消费变更事件

前提条件:
- MySQL开启Binlog:log-bin=mysql-bin
- Binlog格式设置为ROW:binlog-format=ROW
- 创建Canal用户并授权:REPLICATION SLAVE, REPLICATION CLIENT

支持特性:GTID全局事务ID、Row/Statement/Mixed格式、多Instance隔离。

10. Canal的架构?


Canal Server
 └─> Instance(对应一个MySQL实例)
      ├─> EventParser:解析Binlog事件
      ├─> EventSink:过滤/路由/归并
      ├─> EventStore:本地缓冲(RingBuffer)
      └─> MetaManager:记录消费位点

HA方案:ZooKeeper选举 → Active/Standby,Active故障自动切换

部署模式:单机(开发)、集群(生产,ZK选举主备)。

11. Canal + Kafka实战?


// Canal Client消费Binlog并发送到Kafka
CanalConnector connector = CanalConnectors.newClusterConnector(
    "zk-address:2181", "example", "canal", "canal");
connector.connect();
connector.subscribe("mydb\\..*");

while (true) {
    Message message = connector.getWithoutAck(100); // 批量获取
    long batchId = message.getId();
    try {
        for (CanalEntry.Entry entry : message.getEntries()) {
            if (entry.getEntryType() == CanalEntry.EntryType.ROWDATA) {
                CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
                for (CanalEntry.RowData row : rowChange.getRowDatasList()) {
                    String topic = entry.getHeader().getTableName();
                    String key = row.getAfterColumns(0).getValue(); // 主键
                    String value = buildJson(row, rowChange.getEventType());
                    kafkaTemplate.send(topic, key, value).get();
                }
            }
        }
        connector.ack(batchId); // 确认消费
    } catch (Exception e) {
        connector.rollback(batchId); // 失败回滚,重新消费
    }
}

12. Canal的HA方案?

生产建议:至少部署2个Canal Server + 3个ZK节点,保证高可用。

13. Canal的数据格式?


{
  "type": "UPDATE",
  "table": "t_order",
  "schema": "mydb",
  "ts": 1700000000000,
  "before": {"id": "1", "status": "CREATED", "amount": "100.00"},
  "after":  {"id": "1", "status": "PAID", "amount": "100.00"}
}
字段说明
typeINSERT/UPDATE/DELETE
before变更前数据(UPDATE/DELETE有值)
after变更后数据(INSERT/UPDATE有值)
tsBinlog时间戳

四、增量同步 — Debezium

14. Debezium vs Canal?

维度CanalDebezium
数据源仅MySQLMySQL/PG/Oracle/MongoDB/SQL Server
架构Client/Server模式Kafka Connect Source Connector
部署独立部署Canal ServerK8s/Kafka Connect集群
社区阿里出品,国内活跃Red Hat出品,国际活跃
消息格式自定义格式统一CDC标准格式
扩展性需自己开发Client直接对接Kafka生态

选型建议:纯MySQL场景用Canal(国内资料多),多数据源或Kafka生态用Debezium。

15. Debezium的部署方式?

方式说明适用场景
Kafka Connect standalone单节点开发测试
Kafka Connect distributed集群生产环境(推荐)
Embedded Engine嵌入Java应用轻量级场景
Debezium Server独立运行,直连多种Sink不需要Kafka的场景

生产推荐:Kafka Connect distributed模式,天然支持HA和扩缩容。

16. Debezium的消息格式?


{
  "schema": { ... },
  "payload": {
    "before": {"id": 1, "name": "old_name"},
    "after":  {"id": 1, "name": "new_name"},
    "source": {
      "version": "2.4.0",
      "connector": "mysql",
      "name": "mydb",
      "ts_ms": 1700000000,
      "db": "mydb",
      "table": "users",
      "server_id": 1,
      "gtid": "3E11FA47-71CA-11E1-9E33-C80AA9429562:1"
    },
    "op": "u",
    "ts_ms": 1700000000123
  }
}

op字段:c=create(INSERT)、u=update、d=delete、r=snapshot(全量读取)。

17. Debezium的Snapshot策略?

策略说明适用场景
initial首次全量快照,之后增量默认策略,推荐
schema_only仅读取表结构,不做全量已有全量数据只需增量
never从不快照,仅增量Binlog完整时使用
when_needed按需快照(如Binlog过期)安全兜底策略

18. Spring Boot + Debezium Embedded?


@Configuration
public class DebeziumConfig {

    @Bean
    public DebeziumEngine<RecordChangeEvent<SourceRecord>> debeziumEngine() {
        Properties props = new Properties();
        props.setProperty("name", "order-connector");
        props.setProperty("connector.class", "io.debezium.connector.mysql.MySqlConnector");
        props.setProperty("database.hostname", "mysql-host");
        props.setProperty("database.port", "3306");
        props.setProperty("database.user", "debezium");
        props.setProperty("database.password", "xxx");
        props.setProperty("database.include.list", "mydb");
        props.setProperty("table.include.list", "mydb.t_order");
        props.setProperty("snapshot.mode", "initial");
        props.setProperty("database.server.id", "184054");
        props.setProperty("database.server.name", "order-server");

        return DebeziumEngine.create(RecordChangeEvent.class)
            .using(props)
            .notifying(record -> {
                SourceRecord sourceRecord = record.record();
                // 处理变更事件,写入新库或发送MQ
                processChange(sourceRecord);
            })
            .using(this.getClass().getClassLoader())
            .using((success, message, error) -> {
                if (!success && error != null) {
                    log.error("Debezium engine error", error);
                }
            })
            .build();
    }
}

五、双写方案

19. 什么是双写?

双写:应用层同时写入新老数据库,保证迁移过程中数据一致性的方案。


// 双写伪代码
@Transactional
public void createOrder(Order order) {
    // 写老库(主)
    orderMapperOld.insert(order);
    // 写新库(从)
    try {
        orderMapperNew.insert(order);
    } catch (Exception e) {
        log.error("双写新库失败", e);
        // 发送MQ异步补偿
        mqTemplate.send("dual-write-compensate", order);
    }
}

20. 双写的一致性保证?

方案一致性延迟复杂度
同步双写强一致高(双写延迟)低
异步双写(MQ)最终一致低中
Canal补偿最终一致低高

推荐组合:同步双写 + Canal补偿对账。双写保证实时性,Canal补偿兜底一致性。

21. 双写方案的实施步骤?


阶段1: 增量同步启动 — Canal/Debezium监听老库Binlog,写入新库
阶段2: 全量数据迁移 — DataX全量同步历史数据
阶段3: 代码加双写逻辑 — 应用层同时写新老库
阶段4: 对比验证 — 定时任务校验新老库数据一致性
阶段5: 灰度读新库 — 1%→10%→50%→100%流量读新库
阶段6: 停止写老库 — 确认稳定后关闭老库写入

22. 如何处理双写失败?


// 幂等写入:基于唯一键的INSERT ON DUPLICATE KEY UPDATE
@Insert("INSERT INTO t_order(id,status,amount) VALUES(#{id},#{status},#{amount}) " +
        "ON DUPLICATE KEY UPDATE status=#{status},amount=#{amount}")
void upsertOrder(Order order);

六、数据校验

23. 如何校验迁移数据的完整性?

校验方式说明粒度
count总数SELECT COUNT(*) FROM t_order表级
checksum校验CHECKSUM TABLE t_order表级
抽样比对随机取N条数据逐字段比对行级
业务关键字段比对金额、状态等核心字段字段级
Hash校验MD5(CONCAT(id,status,amount))行级

生产实践:先count总数确认量级,再checksum确认整体一致性,最后抽样验证细节。

24. 数据不一致怎么处理?


处理流程:
1. 发现不一致 → 定位不一致的范围(哪些表、哪些行)
2. 分析原因 → 数据丢失(迁移遗漏)/ 重复(重复写入)/ 错误(类型转换)
3. 修复数据 → 从源库重新同步不一致的数据
4. 重新校验 → 确认修复后数据一致
5. 根因分析 → 修复迁移工具bug,防止复发

25. 实时对账方案?


// Canal监听变更 → 实时比对新老库
@Scheduled(fixedRate = 5000) // 每5秒一次
public void realTimeReconcile() {
    // 1. 消费Canal变更事件
    List<ChangeEvent> events = canalClient.fetch();
    for (ChangeEvent event : events) {
        // 2. 查询新老库对应记录
        Order oldOrder = oldMapper.selectById(event.getId());
        Order newOrder = newMapper.selectById(event.getId());
        // 3. 比对核心字段
        if (!Objects.equals(oldOrder, newOrder)) {
            // 4. 自动修复
            newMapper.updateById(oldOrder);
            alertService.warn("数据不一致已修复: id=" + event.getId());
        }
    }
}

26. 数据迁移的性能监控?

监控指标说明告警阈值
迁移速率条/秒< 1000条/秒
延迟源→目标的秒数延迟> 60秒
成功率成功/总条数< 99.9%
数据量进度已迁移/总量百分比偏离预期
错误率失败条数/总条数> 0.1%

七、实时数据同步

27. Flink CDC的架构?


Flink CDC架构:
MySQL Binlog → Flink CDC Source(内置Debezium)
                         ↓
              Flink处理(Transform/过滤/聚合)
                         ↓
              Flink Sink(ClickHouse/ES/Hudi/Kafka)

核心优势:
- 无锁读取:不锁表即可做全量+增量一致读取
- 全量+增量一体化:initial模式先全量后增量,无缝衔接
- Exactly-Once语义:Checkpoint保证数据不丢不重

28. Flink CDC实战?


// Flink CDC同步MySQL到ClickHouse
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(60000); // 1分钟Checkpoint

MySqlSource<String> source = MySqlSource.<String>builder()
    .hostname("mysql-host")
    .port(3306)
    .databaseList("mydb")
    .tableList("mydb.t_order")
    .username("root")
    .password("xxx")
    .deserializer(new JsonDebeziumDeserializationSchema())
    .startupOptions(StartupOptions.initial()) // 先全量后增量
    .build();

env.fromSource(source, WatermarkStrategy.noWatermarks(), "MySQL CDC Source")
   .filter(this::isValidRecord)
   .map(this::transformToClickHouseRow)
   .addSink(new ClickHouseSinkFunction());

env.execute("MySQL to ClickHouse CDC");

29. 如何保证实时同步的顺序性?


// Kafka生产者:按主键路由到同一分区
kafkaTemplate.send(topic, orderId, jsonPayload);

// 消费者:单线程消费保证顺序
@KafkaListener(topics = "order-cdc", concurrency = "4")
public void consume(List<ConsumerRecord<String, String>> records) {
    records.forEach(this::processInOrder);
}

30. 实时同步的断点续传?

方案原理持久化位置
GTID位点MySQL GTID全局唯一Canal MetaManager/ZK
Kafka Offset消费者组位点提交Kafka内部Topic
Flink Checkpoint定期快照状态HDFS/S3
Debezium OffsetBinlog位点+GTIDKafka Connect内部Topic

恢复流程:重启 → 读取上次持久化的位点 → 从断点继续消费。


八、灰度切换

31. 灰度切换的实施流程?


灰度切换步骤:
1%流量 → 新库 → 观察30分钟(监控错误率、延迟、数据一致性)
  ↓ 通过
5%流量 → 新库 → 观察1小时
  ↓ 通过
10%流量 → 新库 → 观察2小时
  ↓ 通过
50%流量 → 新库 → 观察4小时
  ↓ 通过
100%流量 → 新库 → 观察24小时
  ↓ 确认稳定
停止双写,迁移完成

每一步都要校验:错误率、响应时间、数据一致性。任何一步发现问题,秒级切回老库。

32. 如何实现灰度路由?


// 方案一:网关层按用户ID灰度(Spring Cloud Gateway)
@Component
public class GrayscaleRoutePredicate implements RoutePredicateFactory<Config> {
    @Override
    public Predicate<ServerWebExchange> apply(Config config) {
        return exchange -> {
            String userId = exchange.getRequest().getHeaders().getFirst("X-User-Id");
            int ratio = config.getRatio(); // 灰度比例,如5表示5%
            return Math.abs(userId.hashCode() % 100) < ratio;
        };
    }
}

// 方案二:Feature Flag控制
@GetMapping("/order/{id}")
public Order getOrder(@PathVariable Long id, @RequestHeader("X-User-Id") String userId) {
    if (featureFlagService.isEnabled("read-new-db", userId)) {
        return newDbOrderService.getById(id);
    }
    return oldDbOrderService.getById(id);
}

33. 切换失败的快速回滚?

34. 如何做好迁移的沟通协调?


迁移前:
- 提前7天通知所有相关方(研发、测试、运维、业务)
- 制定详细迁移时间表和每步的负责人
- 准备回滚方案和演练记录

迁移中:
- 建立迁移Dashboard,实时展示进度和指标
- 设置On-Call值班表,关键时段专人盯守
- 每个阶段在群里同步状态

迁移后:
- 24小时观察期,持续监控
- 编写迁移复盘报告
- 总结经验教训,更新迁移SOP

九、实战场景题

35. MySQL迁移到PostgreSQL方案?

阶段工具/方案
全量迁移pgloader(推荐)、DataX(MySQL→PG)
增量同步Debezium(MySQL Source → PG Sink)
SQL方言适配手动改写(LIMIT/OFFSET→LIMIT/OFFSET、AUTO_INCREMENT→SERIAL)
字符集统一UTF-8,注意排序规则差异
自增IDPG用SERIAL/SEQUENCE,需处理起始值

注意事项:MySQL的tinyint(1)映射到PG的boolean,datetime映射到timestamp。

36. 分库分表迁移方案?


方案:ShardingSphere路由迁移
1. 新分片规则配置完成(如8库×16表)
2. DataX按分片键路由,将老库数据分发到对应分片
3. 扩容双写:应用层同时写老单库和新的分片库
4. Canal补偿:监听老库增量同步到新分片
5. 数据校验通过后,切换ShardingSphere路由规则指向新分片
6. 停止写老库,下线旧数据源

关键点:分片键路由函数必须一致,否则数据会散列到错误的分片。

37. ES数据迁移方案?

方案说明适用场景
Reindex API_reindex远程跨集群复制同版本小数据量
Logstashinput(es) → output(es)需要ETL转换
Snapshot/Restore快照备份恢复大数据量离线
CCR(跨集群复制)Elasticsearch官方跨集群同步实时持续同步

// Reindex API
POST _reindex
{
  "source": {"remote": {"host": "http://old-es:9200"}, "index": "orders"},
  "dest": {"index": "orders_new"}
}

38. Redis数据迁移方案?

方案说明适用场景
Redis-shake阿里出品,支持全量+增量跨版本/跨集群迁移
RDB/AOF重放拷贝RDB文件到新节点重启同版本离线迁移
SCAN+DUMP/RESTORE逐Key迁移部分Key迁移
Cluster Reshardredis-cli --cluster reshard集群扩缩容

生产推荐:Redis-shake,支持断点续传和增量同步。

39. 如何实现多活架构的数据同步?


核心挑战:双向同步+冲突解决

双向同步方案:
1. Canal双向:机房A的Canal→机房B,机房B的Canal→机房A
2. 冲突解决:基于时间戳(后写入覆盖)或版本号(乐观锁)
3. 单元化路由:同一用户请求始终路由到同一机房(写本机房,读本机房)
4. 全局唯一ID:Snowflake生成唯一ID,避免双写主键冲突

防环回:
- 每条Binlog标记来源机房ID
- 消费时过滤掉非本机房产生的Binlog

40. 数据湖同步方案?


方案一:CDC → Kafka → Hudi(推荐)
  MySQL → Debezium → Kafka → Flink → Hudi Table
  支持Upsert语义,ACID事务

方案二:批量同步 → Hive
  DataX定时同步MySQL → Hive分区表
  适合T+1离线分析

方案三:Flink SQL写入数据湖
  Flink CDC Source → Flink SQL Transform → Hudi/Iceberg Sink
  实时入湖,支持增量查询

数据湖选型:
- Hudi:支持Upsert,适合CDC场景
- Iceberg:查询性能好,适合分析场景
- Delta Lake:Databricks生态,Spark友好

十、面试高频综合题

41. 如何设计一个通用数据同步平台?


架构设计:
┌──────────────────────────────────────┐
│            Web UI 配置界面            │
├──────────────────────────────────────┤
│         任务注册中心(任务管理)       │
├──────────┬──────────┬────────────────┤
│ 全量同步  │ 增量同步  │  CDC实时同步   │
│ DataX    │ Canal    │  Flink CDC     │
├──────────┴──────────┴────────────────┤
│      抽象层:Source ←→ Channel ←→ Sink │
├──────────────────────────────────────┤
│    监控告警(延迟/吞吐/错误率/对账)   │
└──────────────────────────────────────┘

核心抽象:
- Source:定义数据源连接和读取方式
- Sink:定义目标写入方式
- Transform:字段映射、过滤、转换规则
- Task:一个完整的Source→Transform→Sync流水线

42. Canal消息积压怎么处理?


// 批量消费优化
@KafkaListener(topics = "canal-data", batch = "true")
public void batchConsume(List<ConsumerRecord<String, String>> records) {
    // 按表分组,批量写入
    Map<String, List<ConsumerRecord>> grouped = records.stream()
        .collect(Collectors.groupingBy(r -> extractTable(r)));
    grouped.forEach((table, list) -> batchInsert(table, list));
}

43. 数据同步的幂等性如何保证?

方案实现适用场景
唯一键UpsertINSERT ON DUPLICATE KEY UPDATEDB到DB
消费位点幂等记录已消费的offset,重复消费跳过Kafka消费
版本号去重每条记录带version字段,只接受更新的版本乱序场景
时间戳去重update_time比较,只更新更新的数据实时同步
全局唯一IDSnowflake生成唯一ID,天然幂等新数据写入

44. 大表迁移如何避免锁表?


-- pt-archiver分批迁移
pt-archiver \
  --source h=old-db,D=mydb,t=t_order \
  --dest h=new-db,D=mydb,t=t_order \
  --where "id BETWEEN 1 AND 10000000" \
  --limit 1000 \
  --commit-each \
  --progress 1000

45. 如何监控数据同步链路?


监控体系:
1. 延迟监控:源端Binlog时间戳 vs 目标端写入时间,差值即为延迟
2. 吞吐量监控:每秒同步的记录数(条/秒)
3. 错误率监控:失败记录数/总记录数
4. 数据一致性巡检:定时count/checksum比对新老库
5. 告警规则:延迟>60s、错误率>0.1%、同步中断

工具:
- Prometheus + Grafana:采集指标+可视化
- Canal Admin:Canal官方管理界面
- Kafka Manager:监控Kafka消费积压
- 自研Dashboard:汇总所有同步任务状态

46. DataX任务失败如何重试?


// DataX错误处理配置
"setting": {
  "speed": {"channel": 4},
  "errorLimit": {"record": 100, "percentage": 0.1},
  "restore": {
    "isRestore": true,
    "restoreColumnName": "id",
    "restoreColumnValue": "100000"
  }
}

47. CDC方案选型?

场景推荐方案理由
MySQL → MySQLCanal国内生态好,文档丰富
多数据源(PG/Oracle/MongoDB)Debezium支持多种数据源
实时数仓同步Flink CDC算力强,Exactly-Once
轻量级嵌入式Debezium Embedded无需额外部署
已有Kafka生态Debezium + Kafka Connect天然集成

48. 如何回答"你们的数据迁移方案"?

"我们采用零停机双写方案。全量用DataX分批迁移,增量用Canal实时同步。应用层灰度切读,1%→10%→50%→100%逐步切换。每步做数据校验(count总数+抽样比对+实时对账),异常秒级回滚到老库。全程监控延迟和一致性,迁移完成后老库保留7天才下线。整个迁移过程用户无感知,零停机完成。"

加分点:提到具体的工具、比例、校验手段、回滚策略、保留周期。

49. 数据迁移项目中的坑?

坑原因解决方案
字符集不一致→乱码老库GBK,新库UTF-8统一字符集,DataX配置encoding
自增ID冲突→主键冲突双写时新老库都自增使用Snowflake全局唯一ID
时区问题→时间偏差服务器时区不一致统一JDBC时区serverTimezone=Asia/Shanghai
大字段(BLOB)迁移慢网络传输瓶颈单独线程迁移大字段,分批读取
外键约束依赖顺序先插子表报外键错误按依赖顺序迁移,或临时关闭外键检查
Binlog过期迁移期间Binlog被清理调大expire_logs_days到迁移结束

50. 数据同步的未来趋势?

趋势说明
CDC实时化Flink CDC统一全量+增量,无锁读取成为标配
云原生Debezium on K8s,Operator管理CDC任务生命周期
低代码平台DataFlux/Tapdata等拖拽式数据同步平台
数据编织(Data Fabric)统一管理分散数据源,虚拟化数据访问
AI辅助数据映射AI自动识别字段语义,推荐映射规则和转换逻辑
实时湖仓一体CDC直写Hudi/Iceberg,分钟级数据可见

面试速记口诀

迁移三步:全量迁移(DataX) → 增量同步(Canal/Debezium) → 灰度切换(1%→100%)

>

双写三保证:幂等(Upsert)、补偿(Canal对账)、灰度(逐步切读)

>

CDC三选型:MySQL→Canal、多数据源→Debezium、实时数仓→Flink CDC

>

校验四招:总数比对、Checksum校验、抽样核实、实时对账

>

回滚三件套:秒级切回老库(网关/DNS)、老库保持可写、数据至少保留7天