← 课程目录 🚀 从零到一
📐 学习维度 阶段5 · 第20章 工具链与效能 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

20.4 日志体系:从slf4j到集中采集与脱敏

审校 2026-09-25 · 素材来源:jlog会话笔记(脱敏改写)、loki实践整理
📑 本篇章节导航 (共7节,点击直达)
门面与规范:先统一怎么打异步与滚动:别让日志拖垮业务集中采集:八台机器一个入口脱敏:写进去之前就洗掉踩坑清单面试怎么问一句话总结

日志是线上系统的黑匣子:出了事,它是唯一的目击者。但多数项目的日志是「打了,但打得很烂」——关键链路没日志、有日志没 traceId、密码明文躺着、单机文件在八台机器里翻不过来。这一篇从打日志到查日志搭一遍完整体系:门面规范、异步与滚动、集中采集、脱敏四层。

门面与规范:先统一怎么打

SLF4J(简单日志门面:只定义接口,实现由 Logback 等绑定)加 Logback(高性能日志实现)是 Java 事实标准,Spring Boot 默认集成。为什么必须走门面:历史上有 Log4j、JUL、Logback 多个实现,业务代码直接依赖实现类,换日志框架就要改几千个文件——SLF4J 把「调用」与「实现」解耦(13 章面向接口的日志版)。规范比选型更重要,五条铁律:只用占位符 log.info("order {} created", orderId) 不做字符串拼接(级别未启用时零开销,字符串白拼);异常必须作为最后一个参数 log.error("下单失败 cmd={}", cmd, e)——写 e.getMessage() 会丢栈;级别语义分明——ERROR 要人处理、WARN 可自愈、INFO 是关键节点、DEBUG 默认关闭,级别混乱的日志等于没有级别;MDC(Mapped Diagnostic Context:随线程携带的结构化上下文,存在 ThreadLocal)写入 traceId 实现全链路串联(16.6 链路追踪的日志端落点);不上传密码、手机号、token 明文——脱敏在打日志之前,不是之后。日志内容还有一条隐性纪律:日志要给未来的自己留证据——关键链路打「进入+退出+耗时+业务标识」,排障时才能重建现场;只在 catch 里打一句「系统异常」的日志,出了事什么也证明不了。


MDC.put("traceId", TraceContext.nextId());   // 网关/入口处生成
log.info("order {} created, cost={}ms", orderId, cost);
// 输出: [traceId=7f3a2c] order 10086 created, cost=12ms
MDC.remove("traceId");                        // 线程池复用前必须清

MDC 基于 ThreadLocal(7.2),线程池复用线程时上一个请求的 traceId 会串场——用完 remove 是纪律,跨线程传递要显式复制上下文(13.4 异步的同一道坎)。

异步与滚动:别让日志拖垮业务

同步日志的代价被低估:每行日志一次磁盘写,高峰期能把 TPS 拽下一截。AsyncAppender(异步日志:业务线程只入队,后台线程负责刷盘)把写盘挪出请求路径——队列选 ArrayBlockingQueue 有界防爆内存、丢弃策略选「只丢 DEBUG/INFO 保 ERROR」;队列满了的取舍要想清楚:阻塞(保日志牺牲 TPS)还是丢弃(保 TPS 牺牲日志),金融类系统选前者、互联网服务选后者,没有对错只有定位。异步还有个隐藏坑:JVM 崩溃时队列里没刷盘的日志会丢——崩溃排障恰恰最需要那几行,所以 error 级别可以配置同步落盘兜底。滚动策略(rolling:按大小/时间切文件并保留份数)是磁盘保命符:单文件 100MB、按天切、保留 30 天,历史文件压缩存储;配置要加总容量封顶(maxHistory 加 totalSizeCap),否则保留 30 天但每天 50 个文件照样写满盘。这两项在 logback.xml 里十分钟配完,却是「日志把盘写满拖死服务」(19.1 踩过)的正规预防。

集中采集:八台机器一个入口

微服务下 grep 单机日志是原始社会。轻量路线 Loki(Grafana 出品的日志聚合系统,只索引标签不索引全文,成本远低于 ES)三件套:Promtail(采集 agent,tail 日志文件打标签上报)挂在每台机器/容器,Loki 集中存储,Grafana 查询展示——标签里放 appName、env、host,日志行首带 traceId,一条 {app="order"} |= "7f3a2c" 三秒定位全链路。标签设计是 Loki 的使用关键:标签要低基数(取值有限的维度如服务名、环境),把 userId、traceId 这种高基数值放标签会让索引爆炸——它们放日志内容里用过滤语法搜。重型路线 ELK(Filebeat 采集、Logstash 解析、Elasticsearch 全文索引、Kibana 查询)胜在全文检索,代价是存储与运维成本数倍——日志量没到 TB 级、检索模式是「按标签+traceId」,Loki 是性价比答案;需要全文任意词搜索才上 ELK。保留策略与成本直接挂钩:生产 30 天、预发 7 天、开发 3 天的阶梯保留,配合对象存储归档冷数据——无限期保留的日志平台,最后都会被存储账单教育。K8s 环境(19.4)下 stdout+DaemonSet 采集是标准形态,日志跟着 Pod 消失的问题由采集层兜住。

脱敏:写进去之前就洗掉

日志一旦落盘进采集管道,就是没法撤回的扩散面。脱敏(打日志前对敏感字段做遮蔽处理)的正确位置是日志组件层而不是业务代码层——Logback 自定义 MessageConverter(_conversion 链上统一正则替换),手机号 138****5678、身份证、银行卡中间打星,密码与 token 字段整段替换为 {{REDACTED}}。放组件层的原因很实际:靠业务代码自觉脱敏,新增一个字段就有一个漏网点,转换器层一次配置全局兜底,新增代码想漏都难。JSON 结构化日志(logstash encoder 输出 JSON)配上字段级脱敏规则会更精准——按字段名匹配比正则猜内容可靠。这呼应 18 章的红线:本项目整个内容库都要过 scan.sh 的脱敏扫描,生产日志同理——「敏感信息不落任何明文载体」是横跨代码、日志、文档的一条军规。

踩坑清单

面试怎么问

一句话总结

日志体系四层递进:门面规范保证「打得出」、异步滚动保证「打得快」、集中采集保证「查得到」、组件级脱敏保证「不闯祸」——traceId 串起全链路的那一行,就是这套体系存在意义的全部答案。