← 课程目录 🚀 从零到一
📐 学习维度 阶段8 · 第33章 大数据一瞥(Hadoop/数仓概念,够用即可) 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

33.2 数仓分层与批流一体:数据平台怎么运转

审校 2026-09-29 · 素材来源:数仓分层与 Lambda/批流一体通用实践自撰(大纲「够用即可」;无本机大数据文素材)
📑 本篇章节导航 (共10节,点击直达)
场景:一张报表背后的链路类比与定义:数仓分层是流水线最小可跑示例:分层的落地长相原理拆解:Lambda 与批流一体维度建模:数仓里的表怎么设计实时链路细节:Flink 与 Kafka 的分工Java 工程师的数仓词汇速查踩坑清单面试怎么问一句话总结

大数据一瞥第二讲讲「数据侧的组织方式」:数仓为什么分层、离线与实时两条链路怎么并存(Lambda 架构)、批流一体是什么趋势。这些名词出现在数据团队的日常与你家报表接口的需求里,Java 工程师至少要能听懂会议、在简历的数据量描述里不露怯。同样如实说明:本讲为概念扫盲自撰,无展开实践。

场景:一张报表背后的链路

产品经理要「实时大屏」与「昨日经营日报」两个东西,你发现它们走的是完全不同的链路:日报等昨天数据落齐后跑批算出(离线数仓),大屏要秒级更新(实时链路)。数据团队每天在维护的,就是这两条链路加中间的分层存储。听懂这条链路,你就懂了数据团队一半的会议发言。

类比与定义:数仓分层是流水线

数仓(Data Warehouse,面向分析的整合数据集合,区别于面向交易的业务库)像中央厨房:ODS(贴源层,业务库原样搬来的净菜)、DWD(明细层,清洗脱敏后的标准食材)、DWS(汇总层,按主题切好的半成品——「用户日汇总」「商品日汇总」)、ADS(应用层,直接端上桌的成品菜)。分层的价值一句话:清洗与汇总只做一次,所有报表复用——下游口径统一,需求变更只改一层。业务库(第 9 章的 MySQL)与数仓的分工:前者管「交易正确」,后者管「分析好算」,中间靠 ETL(抽取-转换-加载,第 17.3 讲 Canal 就是抽取的一种实现)搬运。

最小可跑示例:分层的落地长相

以「每日下单金额」指标为例,分层各司其职:


-- ODS:订单表原样入仓(贴源,不改结构)
CREATE TABLE ods_order AS SELECT * FROM mysql_order;

-- DWD:清洗(剔除测试单、统一金额单位与时间时区)
CREATE TABLE dwd_order AS
SELECT order_id, user_id, amount / 100 AS amount,
       DATE_FORMAT(pay_time, '%Y-%m-%d') AS dt
FROM ods_order WHERE status = 'PAID';

-- DWS:按天按用户汇总(半成品,多报表复用)
CREATE TABLE dws_user_order_1d AS
SELECT dt, user_id, COUNT(*) AS order_cnt,
       SUM(amount) AS order_amt
FROM dwd_order GROUP BY dt, user_id;

-- ADS:直接给大屏的成品
SELECT dt, SUM(order_amt) AS total FROM dws_user_order_1d
GROUP BY dt;

看这份 SQL 就明白:下层不关心报表长什么样,上层不重复清洗——口径冲突(两个报表金额对不上)的根治方案就是分层。

原理拆解:Lambda 与批流一体

Lambda 架构(同一份数据流同时走批、速两条链路的经典设计):批层(Batch Layer)全量数据跑批,保证准确;速层(Speed Layer)实时增量修正最近的数据;服务层把两者结果合并对外。代价是两套代码两套维护——同一个指标要用批、流两种引擎各写一遍。批流一体(用同一套引擎与代码同时处理有界与无界数据)是现在的演进方向,代表是 Flink(流优先的分布式计算引擎,Kafka 的消费方常客):流是无限批、批是有限流,一套 SQL 两种跑法。Java 工程师在这张图里的位置:上游——业务库把数据可靠地交给 Kafka(第 11 章的「不丢」三段在这里就是大数据的数据来源保障);下游——给报表接口提供 ADS 层的查询服务。两头都是你的主场,中间是数据团队的主场——面试时把这个边界说清,比背 Flink API 加分。

维度建模:数仓里的表怎么设计

分层解决「加工顺序」,维度建模解决「表怎么摆」。事实表(Fact,记事件的流水:一笔订单、一次点击)只存数字与外键,行数巨大;维度表(Dimension,记属性的字典:用户、商品、时间)行数小、字段多。星型模型(事实居中、维度环绕的表结构)是默认选择——报表查询大多「按某维度聚合某指标」,星型让 join 路径最短;「大宽表」(把常用维度打平进事实表)是查询性能的进一步折衷,用冗余换 join。这套「事件与属性分离」的思想在业务库里也有影子:订单表与用户表的拆分就是朴素版维度建模——面试被问「报表为什么慢」,往「join 层数与口径复用」上答就是数仓思维。

实时大屏的完整链路:业务库 binlog(Canal 采集,第 17.3 讲)或埋点 → Kafka(数据总线)→ Flink 消费计算(窗口聚合、去重、维表 join)→ 结果写回 Redis 或 ADS 表 → 接口直出。两个值得主动提的细节:Exactly-Once 语义(精确一次消费与写入)靠 Flink 两阶段提交实现——思想与第 17.3 讲 Seata 的两阶段一脉相承;数据倾斜(某 key 数据量过大拖慢整体)的解法与第 10 章热 key 治理同源——加盐打散、本地预聚合。看,大数据的疑难杂症全是 Java 后端老知识的换装出场,这句总结本身就是面试的加分回答。

Java 工程师的数仓词汇速查

最后给三个会议里最常飘过的词一人一句:数据集市(Data Mart,面向某业务线的小型汇总层,是数仓的「部门分册」);宽表(把维度打平进事实的查询优化表,冗余换性能);口径(一个指标的计算定义,如「下单金额是否含退款」——数仓一半的吵架都源于口径没对齐,分层正是治它的制度)。备齐这三句,数据团队的会上你就能从「旁听」升到「对齐口径」。

踩坑清单

面试怎么问

一句话总结

数仓分层是「清洗一次、处处复用」的流水线,Lambda 是「批保准、流保鲜」的双链路,批流一体是把两条链焊成一条——Java 工程师守好数据链路的两端,中间懂概念就够用。