20K Java+AI 岗位高频考点 — 数据治理是数据驱动型企业的必修课。覆盖元数据管理、数据血缘、数据质量、数据安全、数据生命周期、数据标准、数据资产管理等。
数据治理是对数据资产的组织、流程、技术的全面管理,确保数据可信、可用、安全、合规。
核心目标:
不治理的后果:脏数据导致决策失误、合规罚款、重复建设、信任危机。
组织层:数据治理委员会 / 数据Owner / 数据Steward
制度层:数据标准 / 数据质量规则 / 数据安全策略
技术层:元数据管理 / 数据血缘 / 数据质量监控 / 数据目录
执行层:数据质量巡检 / 问题跟踪 / 变更管理
1. 数据治理(组织+流程)
2. 数据架构(模型+标准)
3. 数据建模和设计
4. 数据存储和操作
5. 数据安全
6. 数据集成和互操作
7. 文档和内容管理
8. 参考数据和主数据
9. 数据仓库和BI
10. 元数据管理
11. 数据质量
12. (大模型时代新增)AI数据治理
1. 自动采集:从数据库/数仓/API自动采集技术元数据
2. 业务标注:为表和字段添加业务描述
3. 数据搜索:按关键词/标签搜索数据资产
4. 数据血缘:追踪数据的来源和流向
5. 数据质量:关联质量规则和检查结果
6. 数据安全:关联脱敏规则和权限策略
开源工具:Apache Atlas、DataHub(LinkedIn开源)、OpenMetadata。
数据源(MySQL/Kafka/ES...) → DataHub Ingestion → Metadata Store(GMS)
↓
Search Index(Elasticsearch)
↓
DataHub UI / API
Java集成:
// 通过DataHub REST API注册元数据
DataHubClient client = new DataHubClient("http://datahub:8080");
client.emitMetadata(new MetadataEvent()
.dataset("mydb.orders")
.addField("order_id", "BIGINT", "订单ID")
.addField("amount", "DECIMAL", "订单金额")
.owner("team-order")
.tag("核心数据", "PII"));
血缘层级:
实现方式:
1. SQL解析:解析ETL中的SQL语句,提取输入输出表
2. 引擎集成:Flink/Spark的Lineage API
3. 手动标注:在ETL配置中声明血缘关系
-- 血缘示例
INSERT INTO dws_order_daily
SELECT
o.order_id, -- 血缘: ods_order.order_id → dws_order_daily.order_id
o.amount, -- 血缘: ods_order.amount → dws_order_daily.amount
u.user_name, -- 血缘: dim_user.user_name → dws_order_daily.user_name
p.product_name -- 血缘: dim_product.product_name → dws_order_daily.product_name
FROM ods_order o
JOIN dim_user u ON o.user_id = u.id
JOIN dim_product p ON o.product_id = p.id;
| 维度 | 含义 | 检测方式 |
|---|---|---|
| 完整性 | 数据不缺失 | NULL检查、字段非空率 |
| 准确性 | 数据正确 | 业务规则校验 |
| 一致性 | 多系统数据一致 | 跨源对比 |
| 及时性 | 数据按时产出 | SLA监控 |
| 唯一性 | 无重复 | 主键/唯一约束检查 |
| 有效性 | 符合格式 | 正则/范围检查 |
@Configuration
public class DataQualityRules {
@Bean
public QualityRule orderAmountRule() {
return QualityRule.builder()
.name("订单金额非负")
.dataset("ods_order")
.expression("amount >= 0")
.dimension(ACCURACY)
.threshold(99.99) // 合格率99.99%
.build();
}
@Bean
public QualityRule orderUserExistsRule() {
return QualityRule.builder()
.name("订单用户ID必须存在")
.dataset("ods_order")
.expression("user_id IN (SELECT id FROM dim_user)")
.dimension(CONSISTENCY)
.threshold(100) // 100%
.build();
}
@Bean
public QualityRule uniqueOrderId() {
return QualityRule.builder()
.name("订单ID唯一")
.dataset("ods_order")
.expression("COUNT(order_id) = COUNT(DISTINCT order_id)")
.dimension(UNIQUENESS)
.threshold(100)
.build();
}
}
@Service
@Scheduled(cron = "0 0 8 * * ?") // 每天早8点检查
public class DataQualityMonitor {
@Autowired List<QualityRule> rules;
@Autowired AlertService alertService;
public void check() {
for (QualityRule rule : rules) {
QualityResult result = execute(rule);
if (result.getPassRate() < rule.getThreshold()) {
alertService.sendAlert(
"数据质量告警: " + rule.getName(),
"规则: " + rule.getExpression() +
"\n合格率: " + result.getPassRate() +
"\n阈值: " + rule.getThreshold() +
"\n失败数: " + result.getFailCount()
);
}
}
}
}
1. 发现:质量规则检测到异常
2. 分析:定位是数据源问题还是ETL问题
3. 修复:修正源数据或调整ETL逻辑
4. 重跑:重新执行受影响的ETL任务
5. 验证:确认修复后数据质量达标
6. 复盘:建立机制防止再犯
| 级别 | 标签 | 示例 | 处理要求 |
|---|---|---|---|
| L1 公开 | PUBLIC | 产品介绍 | 无限制 |
| L2 内部 | INTERNAL | 员工信息 | 内部访问 |
| L3 敏感 | CONFIDENTIAL | 手机号、地址 | 脱敏后使用 |
| L4 机密 | SECRET | 身份证号、银行卡 | 加密存储,审批访问 |
@Component
public class DataMaskService {
// 手机号脱敏:138****1234
public String maskPhone(String phone) {
return phone.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2");
}
// 身份证脱敏:110***********1234
public String maskIdCard(String idCard) {
return idCard.replaceAll("(\\d{3})\\d{11}(\\d{4})", "$1***********$2");
}
// 姓名脱敏:张*
public String maskName(String name) {
return name.charAt(0) + "*".repeat(name.length() - 1);
}
// 银行卡脱敏:**** **** **** 1234
public String maskBankCard(String card) {
return "**** **** **** " + card.substring(card.length() - 4);
}
}
MyBatis拦截器自动脱敏:
@Intercepts(@Signature(type = ResultSetHandler.class, method = "handleResultSets", args = Statement.class))
public class DataMaskInterceptor implements Interceptor {
@Override
public Object intercept(Invocation invocation) {
List<Object> results = (List<Object>) invocation.proceed();
for (Object result : results) {
maskSensitiveFields(result);
}
return results;
}
}
RBAC + 数据范围:
@DataScope(
table = "orders",
field = "tenant_id",
type = DataScopeType.TENANT
)
public List<Order> getOrders() {
// SQL自动追加 WHERE tenant_id = ?
}
行级权限:不同角色看到不同数据范围
列级权限:敏感列需要额外权限才能查看
主数据是企业核心的、跨系统共享的基础数据:
问题:没有主数据管理时,各系统数据不一致(客户名不同、编码不同)。
源系统A → 数据清洗/标准化 → 主数据库(Golden Record) → 分发 → 源系统B
↘ 分发 → 源系统C
核心功能:
1. 数据采集:从各系统采集主数据
2. 数据清洗:去重、标准化、合并
3. Golden Record:确定唯一正确版本
4. 变更管理:主数据变更需审批
5. 分发同步:变更后推送到各下游系统
// 数据标准校验
@Component
public class DataStandardValidator {
// 命名规范:表名小写下划线
public boolean isValidTableName(String name) {
return name.matches("[a-z][a-z0-9_]*");
}
// 金额必须DECIMAL(12,2)
public boolean isValidAmountColumn(ColumnMeta column) {
return "DECIMAL".equals(column.getType())
&& column.getPrecision() == 12
&& column.getScale() == 2;
}
}
1. 制定标准:数据治理委员会制定
2. 工具卡点:建表时自动校验是否符合标准
3. 存量改造:分批改造不符合标准的存量数据
4. Code Review:DDL变更必须过数据标准Review
5. 定期巡检:自动检测不合规的表和字段
| 阶段 | 策略 | 示例 |
|---|---|---|
| 创建 | 数据标准校验 | 建表规范 |
| 存储 | 分级分类 | 冷热数据分层 |
| 使用 | 权限控制 | RBAC |
| 归档 | 定期归档 | 1年以上数据归档 |
| 销毁 | 安全删除 | 超过保留期后销毁 |
-- 数据生命周期自动化
-- MySQL事件:定期归档老数据
CREATE EVENT archive_old_orders
ON SCHEDULE EVERY 1 DAY
DO
INSERT INTO order_archive SELECT * FROM orders WHERE created_at < DATE_SUB(NOW(), INTERVAL 2 YEAR);
DELETE FROM orders WHERE created_at < DATE_SUB(NOW(), INTERVAL 2 YEAR);
热数据(近3个月)→ SSD存储,高性能查询
温数据(3-12个月)→ HDD存储,正常查询
冷数据(1年以上)→ 对象存储(OSS/S3),低频访问
ClickHouse TTL示例:
ALTER TABLE events MODIFY TTL
event_time + INTERVAL 3 MONTH TO VOLUME 'hot',
event_time + INTERVAL 12 MONTH TO VOLUME 'cold',
event_time + INTERVAL 36 MONTH DELETE;
// 数据目录实体
public class DataCatalogEntry {
private String datasetName; // mydb.orders
private String description; // 订单主表
private String owner; // team-order
private String classification; // L3-敏感
private List<String> tags; // [核心数据, 每日更新]
private QualityScore qualityScore; // 98.5分
private List<ColumnMeta> columns;
private LineageGraph lineage; // 血缘图
private UpdateFrequency frequency; // DAILY
}
数据发现是帮助用户找到需要的数据:
1. 训练数据管理:版本化、可追溯、质量检查
2. 特征管理:特征目录、特征血缘、特征复用
3. Prompt管理:版本化、A/B测试、效果追踪
4. 模型输出管理:质量监控、偏见检测、合规审计
5. 向量数据管理:向量版本、更新策略、质量评估
文档上传 → 数据质量检查 → 标准化处理 → 分块
↓
Embedding → 向量库
↓
质量评分 → 索引版本管理
RAG数据质量规则:
第一步:组织保障(数据治理委员会+数据Owner)
第二步:数据盘点(摸清企业有哪些数据)
第三步:数据标准(制定命名/编码/质量标准)
第四步:元数据平台(DataHub/Atlas)
第五步:数据质量监控(质量规则+告警)
第六步:数据安全(分级/脱敏/权限)
第七步:数据目录(搜索/发现/理解)
第八步:持续运营(巡检/优化/演进)
数据中台是技术实现,数据治理是管理制度。
数据治理(制度)
↓ 指导
数据中台(技术)
├── 数据集成
├── 数据开发
├── 数据治理(质量/血缘/安全)
├── 数据服务
└── 数据资产
量化指标:
数据治理六维度:完整、准确、一致、及时、唯一、有效
>
元数据三件套:技术元数据(结构)+ 业务元数据(含义)+ 操作元数据(使用)
>
数据安全四层:分级分类 → 脱敏 → 权限 → 审计
>
治理落地三步走:标准先行 → 平台支撑 → 持续运营