大数据对 Java 后端是「扫盲级」考点:面试官一般只问概念与名词解释,不深追。这一章两讲按够用原则讲清楚三件事——Hadoop 家族是什么、HDFS 怎么存、MapReduce 怎么算,以及它们与 Java 工程师的真实关系。素材说明:本机只有 Hadoop 3.4.1 发行压缩包,未做展开部署,本讲为概念扫盲,工程细节以官方文档为准。
三种场景会碰到它。其一,简历里的数据量:你说「日均百万订单」,面试官可能顺势问「这么大的量表怎么存」——分库分表(第 9.7 讲)之外,大数据组件是标准答案之一。其二,同事协作:数据团队说「这个表在 ODS 层」,你至少要知道那是什么。其三,岗位延伸:不少 Java 岗写着「了解大数据优先」。好消息是:Hadoop、HBase、Kafka、Flink 全是 JVM 系——大数据生态本质上就是另一群 Java 工程师写的分布式系统,你已有的并发与网络知识(第 7、12 章)全部通用。
Hadoop(Apache 开源的大数据基础框架)像一个图书馆体系。HDFS(Hadoop Distributed File System,分布式文件系统)是书库:一本大部头拆成章节分放在不同书架,每章还留了两个复印件放别的书架防丢。MapReduce(分阶段批处理计算模型)是整理流程:Map 阶段每个管理员各自统计自己书架的书目(分),Reduce 阶段把各管理员的草稿汇总归并成总表(合)。块(Block,文件切分的最小单位,默认 128MB)与副本(Replication,默认三份)是 HDFS 的两个基础参数。
大数据入门的 Hello World——统计文件里每个单词出现的次数:
// Map:逐行读入,输出 (单词, 1)
public class TokenizerMapper
extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
protected void map(LongWritable key, Text value, Context ctx) {
for (String w : value.toString().split(" ")) {
word.set(w);
ctx.write(word, one); // 每个单词发一条 (词,1)
}
}
}
// Reduce:同一单词的 1 全部汇到同一个 Reduce 任务求和
// key=单词, values=[1,1,1,...] → 输出 (单词, 总数)
Shuffle(把相同 key 的数据拉到同一个 Reduce 的搬运阶段)是 MapReduce 的灵魂,也是面试唯一会深问的点:为什么要 Shuffle——因为汇总前必须让相同 key 落到同一节点,这个「按 key 重分布」的过程就是分布式系统的 group by。
NameNode(主控节点)记目录:文件切成哪些块、每块在哪个 DataNode——它只存元数据(内存+镜像文件),是单点,故有 Secondary NameNode 做合并备份与高可用方案(主备 NameNode)。DataNode(数据节点)存块:定期向 NameNode 心跳汇报存货,副本策略由 NameNode 下达(机架感知:两份同机架、一份跨机架,兼顾速度与容灾)。客户端读写路径:写文件时先问 NameNode 拿块位置,再直连 DataNode 流水线写入(三副本串成管道逐级转发);读文件时 NameNode 给出块位置,客户端就近读。这套「主控元数据+数据节点存内容」的架构,与注册中心(第 16.2 讲 Nacos)的设计思想同源——大数据没有新技术,只有老思想的放大。
YARN(Yet Another Resource Negotiator,Hadoop 的资源调度层)把「管资源」和「管计算」拆开:ResourceManager 全局分配资源(CPU、内存打包成 Container),NodeManager 管本机 Container 的启停——这个「全局调度器+本机代理」的结构,与 K8s 的 apiserver+kubelet(第 19.4 讲)一个模子。YARN 出现的意义:MapReduce 不再独占集群,任何计算引擎都能申请 Container 跑任务,于是引擎开始换代:Hive 把 SQL 翻译成 MapReduce 让分析师不写 Java;Spark 用内存计算与 DAG(有向无环图)调度把迭代类任务提速十倍以上;Flink 流优先(第 33.2 讲主角)。换引擎不换底座——HDFS 存储层稳坐二十年,这是「分层解耦」在大数据领域的最佳广告,面试讲出这句,比背下所有组件名更显体系感。
NameNode 是 HDFS 唯一的「目录」,它挂了整个集群失明——这正是第 17 章 CAP 与共识问题的存储版现场。解法是主备 NameNode:主备共用一组JournalNode(奇数台组成的日志仲裁节点,基于类 Paxos 的多数派写入——第 28.1.3 讲 Raft 的同族亲戚),备节点实时回放编辑日志保持同步;ZKFC(故障检测控制器)盯主节点心跳,宕机秒级触发切换; fencing 隔离确保旧主「假死复活」后不会脑裂式地再次对外服务——旧主必须答对「隔离纪元」才被承认。三个组件各管一段(日志同步、故障切换、脑裂隔离),这就是分布式高可用的标准拼装:面试答 HDFS HA 时把这三段讲全,等于顺带复习了第 17 章半张地图。
HDFS 的设计前提是「一次写入、多次读取」的大文件流式访问——顺序读写把磁盘速度吃满,这正是它快的原因;但它对小文件极不友好:每个文件、目录、块在 NameNode 里都占约 150 字节内存,十亿个一 KB 的小文件能直接把 NameNode 内存压垮。所以工程上小文件要先合并(合并成 SequenceFile 或 HAR 包,或干脆走 HBase 这类专门系统),这道「小文件问题」也是 HDFS 面试里除读写流程外最高频的一问,答出「NameNode 元数据内存」这个根因,就答到了点子上。顺带一个对照:Kafka 之所以快、HDFS 之所以省,都押注同一件事——顺序 IO,这个共识横跨存储与消息系统,值得记成一条。
HDFS 用块与三副本把一台装不下的文件摊到一群机器,MapReduce 用 Map 分、Shuffle 搬、Reduce 合把一群机器变成一台——记住「单机思想的分布式放大」,大数据一瞥就够用了。