← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共11章,点击直达)
一、数据治理基础二、元数据管理三、数据质量四、数据安全与合规五、主数据管理六、数据标准七、数据生命周期管理八、数据目录与数据发现九、AI时代的数据治理十、面试高频综合题面试速记口诀

Q100 数据治理与数据质量实战

20K Java+AI 岗位高频考点 — 数据治理是数据驱动型企业的必修课。覆盖元数据管理、数据血缘、数据质量、数据安全、数据生命周期、数据标准、数据资产管理等。

一、数据治理基础

1. 什么是数据治理?为什么重要?

数据治理是对数据资产的组织、流程、技术的全面管理,确保数据可信、可用、安全、合规。

核心目标:

不治理的后果:脏数据导致决策失误、合规罚款、重复建设、信任危机。

2. 数据治理的框架体系?


组织层:数据治理委员会 / 数据Owner / 数据Steward
制度层:数据标准 / 数据质量规则 / 数据安全策略
技术层:元数据管理 / 数据血缘 / 数据质量监控 / 数据目录
执行层:数据质量巡检 / 问题跟踪 / 变更管理

3. DAMA数据治理的10个知识领域?

1. 数据治理(组织+流程)

2. 数据架构(模型+标准)

3. 数据建模和设计

4. 数据存储和操作

5. 数据安全

6. 数据集成和互操作

7. 文档和内容管理

8. 参考数据和主数据

9. 数据仓库和BI

10. 元数据管理

11. 数据质量

12. (大模型时代新增)AI数据治理

4. 数据资产管理的核心概念?


二、元数据管理

5. 元数据的分类?

6. 元数据管理平台的核心功能?

1. 自动采集:从数据库/数仓/API自动采集技术元数据

2. 业务标注:为表和字段添加业务描述

3. 数据搜索:按关键词/标签搜索数据资产

4. 数据血缘:追踪数据的来源和流向

5. 数据质量:关联质量规则和检查结果

6. 数据安全:关联脱敏规则和权限策略

开源工具:Apache Atlas、DataHub(LinkedIn开源)、OpenMetadata。

7. DataHub的核心架构?


数据源(MySQL/Kafka/ES...) → DataHub Ingestion → Metadata Store(GMS)
                                                      ↓
                                                Search Index(Elasticsearch)
                                                      ↓
                                                DataHub UI / API

Java集成:


// 通过DataHub REST API注册元数据
DataHubClient client = new DataHubClient("http://datahub:8080");
client.emitMetadata(new MetadataEvent()
    .dataset("mydb.orders")
    .addField("order_id", "BIGINT", "订单ID")
    .addField("amount", "DECIMAL", "订单金额")
    .owner("team-order")
    .tag("核心数据", "PII"));

8. 数据血缘(Data Lineage)怎么实现?

血缘层级:

实现方式:

1. SQL解析:解析ETL中的SQL语句,提取输入输出表

2. 引擎集成:Flink/Spark的Lineage API

3. 手动标注:在ETL配置中声明血缘关系


-- 血缘示例
INSERT INTO dws_order_daily
SELECT
    o.order_id,          -- 血缘: ods_order.order_id → dws_order_daily.order_id
    o.amount,            -- 血缘: ods_order.amount → dws_order_daily.amount
    u.user_name,         -- 血缘: dim_user.user_name → dws_order_daily.user_name
    p.product_name       -- 血缘: dim_product.product_name → dws_order_daily.product_name
FROM ods_order o
JOIN dim_user u ON o.user_id = u.id
JOIN dim_product p ON o.product_id = p.id;

三、数据质量

9. 数据质量的六个维度?

维度含义检测方式
完整性数据不缺失NULL检查、字段非空率
准确性数据正确业务规则校验
一致性多系统数据一致跨源对比
及时性数据按时产出SLA监控
唯一性无重复主键/唯一约束检查
有效性符合格式正则/范围检查

10. 数据质量规则怎么设计?


@Configuration
public class DataQualityRules {

    @Bean
    public QualityRule orderAmountRule() {
        return QualityRule.builder()
            .name("订单金额非负")
            .dataset("ods_order")
            .expression("amount >= 0")
            .dimension(ACCURACY)
            .threshold(99.99)  // 合格率99.99%
            .build();
    }

    @Bean
    public QualityRule orderUserExistsRule() {
        return QualityRule.builder()
            .name("订单用户ID必须存在")
            .dataset("ods_order")
            .expression("user_id IN (SELECT id FROM dim_user)")
            .dimension(CONSISTENCY)
            .threshold(100)  // 100%
            .build();
    }

    @Bean
    public QualityRule uniqueOrderId() {
        return QualityRule.builder()
            .name("订单ID唯一")
            .dataset("ods_order")
            .expression("COUNT(order_id) = COUNT(DISTINCT order_id)")
            .dimension(UNIQUENESS)
            .threshold(100)
            .build();
    }
}

11. 数据质量监控和告警?


@Service
@Scheduled(cron = "0 0 8 * * ?")  // 每天早8点检查
public class DataQualityMonitor {
    @Autowired List<QualityRule> rules;
    @Autowired AlertService alertService;

    public void check() {
        for (QualityRule rule : rules) {
            QualityResult result = execute(rule);
            if (result.getPassRate() < rule.getThreshold()) {
                alertService.sendAlert(
                    "数据质量告警: " + rule.getName(),
                    "规则: " + rule.getExpression() +
                    "\n合格率: " + result.getPassRate() +
                    "\n阈值: " + rule.getThreshold() +
                    "\n失败数: " + result.getFailCount()
                );
            }
        }
    }
}

12. 数据质量问题的处理流程?

1. 发现:质量规则检测到异常

2. 分析:定位是数据源问题还是ETL问题

3. 修复:修正源数据或调整ETL逻辑

4. 重跑:重新执行受影响的ETL任务

5. 验证:确认修复后数据质量达标

6. 复盘:建立机制防止再犯


四、数据安全与合规

13. 数据分级分类怎么做?

级别标签示例处理要求
L1 公开PUBLIC产品介绍无限制
L2 内部INTERNAL员工信息内部访问
L3 敏感CONFIDENTIAL手机号、地址脱敏后使用
L4 机密SECRET身份证号、银行卡加密存储,审批访问

14. 数据脱敏方案?


@Component
public class DataMaskService {

    // 手机号脱敏:138****1234
    public String maskPhone(String phone) {
        return phone.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2");
    }

    // 身份证脱敏:110***********1234
    public String maskIdCard(String idCard) {
        return idCard.replaceAll("(\\d{3})\\d{11}(\\d{4})", "$1***********$2");
    }

    // 姓名脱敏:张*
    public String maskName(String name) {
        return name.charAt(0) + "*".repeat(name.length() - 1);
    }

    // 银行卡脱敏:**** **** **** 1234
    public String maskBankCard(String card) {
        return "**** **** **** " + card.substring(card.length() - 4);
    }
}

MyBatis拦截器自动脱敏:


@Intercepts(@Signature(type = ResultSetHandler.class, method = "handleResultSets", args = Statement.class))
public class DataMaskInterceptor implements Interceptor {
    @Override
    public Object intercept(Invocation invocation) {
        List<Object> results = (List<Object>) invocation.proceed();
        for (Object result : results) {
            maskSensitiveFields(result);
        }
        return results;
    }
}

15. 数据权限控制怎么实现?

RBAC + 数据范围:


@DataScope(
    table = "orders",
    field = "tenant_id",
    type = DataScopeType.TENANT
)
public List<Order> getOrders() {
    // SQL自动追加 WHERE tenant_id = ?
}

行级权限:不同角色看到不同数据范围

列级权限:敏感列需要额外权限才能查看

16. GDPR / 个保法的数据处理要求?


五、主数据管理

17. 什么是主数据(Master Data)?

主数据是企业核心的、跨系统共享的基础数据:

问题:没有主数据管理时,各系统数据不一致(客户名不同、编码不同)。

18. 主数据管理的架构?


源系统A → 数据清洗/标准化 → 主数据库(Golden Record) → 分发 → 源系统B
                                                  ↘ 分发 → 源系统C

核心功能:

1. 数据采集:从各系统采集主数据

2. 数据清洗:去重、标准化、合并

3. Golden Record:确定唯一正确版本

4. 变更管理:主数据变更需审批

5. 分发同步:变更后推送到各下游系统


六、数据标准

19. 数据标准包含什么?


// 数据标准校验
@Component
public class DataStandardValidator {
    // 命名规范:表名小写下划线
    public boolean isValidTableName(String name) {
        return name.matches("[a-z][a-z0-9_]*");
    }

    // 金额必须DECIMAL(12,2)
    public boolean isValidAmountColumn(ColumnMeta column) {
        return "DECIMAL".equals(column.getType())
            && column.getPrecision() == 12
            && column.getScale() == 2;
    }
}

20. 如何推动数据标准的落地?

1. 制定标准:数据治理委员会制定

2. 工具卡点:建表时自动校验是否符合标准

3. 存量改造:分批改造不符合标准的存量数据

4. Code Review:DDL变更必须过数据标准Review

5. 定期巡检:自动检测不合规的表和字段


七、数据生命周期管理

21. 数据生命周期管理策略?

阶段策略示例
创建数据标准校验建表规范
存储分级分类冷热数据分层
使用权限控制RBAC
归档定期归档1年以上数据归档
销毁安全删除超过保留期后销毁

-- 数据生命周期自动化
-- MySQL事件:定期归档老数据
CREATE EVENT archive_old_orders
ON SCHEDULE EVERY 1 DAY
DO
  INSERT INTO order_archive SELECT * FROM orders WHERE created_at < DATE_SUB(NOW(), INTERVAL 2 YEAR);
  DELETE FROM orders WHERE created_at < DATE_SUB(NOW(), INTERVAL 2 YEAR);

22. 冷热数据分离方案?


热数据(近3个月)→ SSD存储,高性能查询
温数据(3-12个月)→ HDD存储,正常查询
冷数据(1年以上)→ 对象存储(OSS/S3),低频访问

ClickHouse TTL示例:


ALTER TABLE events MODIFY TTL
    event_time + INTERVAL 3 MONTH TO VOLUME 'hot',
    event_time + INTERVAL 12 MONTH TO VOLUME 'cold',
    event_time + INTERVAL 36 MONTH DELETE;

八、数据目录与数据发现

23. 数据目录(Data Catalog)怎么建?


// 数据目录实体
public class DataCatalogEntry {
    private String datasetName;     // mydb.orders
    private String description;     // 订单主表
    private String owner;           // team-order
    private String classification;  // L3-敏感
    private List<String> tags;      // [核心数据, 每日更新]
    private QualityScore qualityScore;  // 98.5分
    private List<ColumnMeta> columns;
    private LineageGraph lineage;   // 血缘图
    private UpdateFrequency frequency;  // DAILY
}

24. 数据发现(Data Discovery)是什么?

数据发现是帮助用户找到需要的数据:


九、AI时代的数据治理

25. AI应用需要什么样的数据治理?

1. 训练数据管理:版本化、可追溯、质量检查

2. 特征管理:特征目录、特征血缘、特征复用

3. Prompt管理:版本化、A/B测试、效果追踪

4. 模型输出管理:质量监控、偏见检测、合规审计

5. 向量数据管理:向量版本、更新策略、质量评估

26. RAG系统的数据治理?


文档上传 → 数据质量检查 → 标准化处理 → 分块
                                          ↓
                                    Embedding → 向量库
                                          ↓
                                    质量评分 → 索引版本管理

RAG数据质量规则:

27. AI数据安全特殊要求?


十、面试高频综合题

28. 如何从0到1建设数据治理体系?

第一步:组织保障(数据治理委员会+数据Owner)

第二步:数据盘点(摸清企业有哪些数据)

第三步:数据标准(制定命名/编码/质量标准)

第四步:元数据平台(DataHub/Atlas)

第五步:数据质量监控(质量规则+告警)

第六步:数据安全(分级/脱敏/权限)

第七步:数据目录(搜索/发现/理解)

第八步:持续运营(巡检/优化/演进)

29. 数据治理与数据中台的关系?

数据中台是技术实现,数据治理是管理制度。


数据治理(制度)
    ↓ 指导
数据中台(技术)
    ├── 数据集成
    ├── 数据开发
    ├── 数据治理(质量/血缘/安全)
    ├── 数据服务
    └── 数据资产

30. 如何衡量数据治理的效果?

量化指标:


面试速记口诀

数据治理六维度:完整、准确、一致、及时、唯一、有效

>

元数据三件套:技术元数据(结构)+ 业务元数据(含义)+ 操作元数据(使用)

>

数据安全四层:分级分类 → 脱敏 → 权限 → 审计

>

治理落地三步走:标准先行 → 平台支撑 → 持续运营