日志收过来了,存哪、怎么查?JLog 后半段链路的答案是 ClickHouse 加微批写入,查询只认预定义索引字段。这篇拆存储与查询,最后做一次全链路架构复盘。
大促峰值 60 万 QPS,ClickHouse 单机极限约 1 万 QPS,30 台只撑 30 万。差的 30 万怎么办?
JLog 的答案不优雅但有效:用内存队列吃下陡增的几秒。单机 worker 10 万队列容量,50 台就是 500 万条内存缓冲,高峰过后慢慢消化。
这是典型的分布式背压设计:用内存换峰值,用丢弃换可用性。队列满了就丢,保 ClickHouse 不被压垮。worker 平时 4 台扛日常 1 到 5 万 QPS,大促再扩容,成本极低。
同时 worker 是无状态的:不持有任何本地数据,注册 IP 到 etcd(每 5 秒一次,JVM shutdown hook 时摘除自己),扩容就是加机器,client 30 秒内自动发现新节点。这套「轮询注册 + 定时拉取」的服务发现虽然原始,但胜在简单可控。
ClickHouse 是检票口,每秒只放 1 万人。游客暴涨时怎么办?广场上拉排队护栏——就是 worker 的内存队列。广场容量有限,真挤爆了后来的人先不接待(丢弃),但检票口永远不崩溃。
# worker 已把数据写入 ClickHouse,按 tracerId 串联一次请求
curl 'http://{{DASHBOARD_HOST}}/query?tracerId={{TRACER_ID}}'
# 或直接查 ClickHouse(仅预定义索引字段走索引)
clickhouse-client --host {{CH_HOST}} --query "
SELECT tracerId, uri, costTime, logContent
FROM tracer_all
WHERE tracerId = '{{TRACER_ID}}'
ORDERBY time"
查出来的,是这次请求的入参、出参和沿途所有服务的日志,按时间排好。这是 JLog 的典型用法:用户跟踪。
第一关,接收与分发。Netty 收到 UDP 包后,事件进入 Disruptor(无锁环形队列,靠 CAS 生产消费、预分配对象来消除锁竞争和 GC 压力)。DisruptorStarter 的配置很有讲究:
ProducerType.SINGLE:UDP 单线程生产,生产端免竞争BlockingWaitStrategy:消费者阻塞等待,省 CPUOneTracer::new 工厂),复用不产生 GC 垃圾handleEventsWithWorkerPool 竞争消费:每条数据只被一个消费者处理,不是广播消费者做 Zstd 解压加 Protostuff 反序列化,然后放进两条预入库队列(各 10000)。
这里用 Disruptor 而不是 JDK 队列,是整个 worker 高吞吐的基石。ArrayBlockingQueue 一把锁管读写,8 个消费者抢锁排队;Disruptor 环形数组预分配 16384 个槽位,靠序列号推进,生产消费互不阻塞。8 消费者用 workerPool 模式竞争消费,每条事件只被处理一次,天然并行。
第二关,微批写库。TracerModelToDbStore 攒够 5000 条或超时 5 秒,一次 JDBC batch 提交。微批把上万次小写入合成一次大写入,正好对上 ClickHouse「怕小批量、爱大块写」的脾气。
注意预入库队列满时是静默丢弃——源码里 if(!success){} 是个空块。没有降级 MQ、没有落盘,故意的。
第三关,分片与副本。DbConfig.parseHostAddress() 把 JDBC URL 模板里的 0-0 替换成 {分片}-{副本},在 15 分片 × 2 副本间轮询写入,分散热点。有点糙的地方:没用连接池,每批次新建 DataSource 和 Connection。
服务注册与发现也是存储链路的一环:CenterStarter 每 5 秒把 worker 的 ip:9999 写进配置中心,shutdown hook 摘除;client 的 Monitor 每 30 秒拉取,WorkerInfoHolder.mergeAndConnectNew 增量替换本地缓存。注释里能看到 IP-hash 负载均衡方案被放弃了,最终选简单轮询——分布式方案里,够用比精巧更重要。
查询链路很简单:Dashboard 拼 SQL,按 tracerId、uid、uri 这些预定义索引字段查 ClickHouse。没有倒排索引、没有分词、没有相关性打分,就是列存的暴力过滤。正因为查询模式收敛,才敢把存储做成极致压缩的列式——查询能力收窄,是存储成本骤降的前提。
存储为什么选 ClickHouse:列式存储只读命中的列,配合 Zstd 压缩,磁盘占用比 ES 明文存储省 70% 以上,写入吞吐也高一个量级。代价是只支持预定义索引字段查询,牺牲模糊检索换成本和性能——不适合「搜个关键字全库找」的场景。
配置热更新也是分布式协调的一部分:etcd/zk/nacos 通过 watch 推送变更,ConfigChangeListener.onProcessEvent 用模板方法固定 beforeEvent → onChangeEvent → afterEvent 骨架,各后端只实现中间一步,统一走 diff 后 refresh() 热刷新。配置中心本身靠 SPI(ServiceLoader 加载 ConfiguratorProvider)做到引哪个 jar 用哪个后端——和 java.sql.Driver 同款套路。
业务App(client SDK): Filter拦截 + Appender拦日志
→ 内存队列(50000) → Protostuff+Zstd → UDP直传/大包HTTP
worker集群: Netty → Disruptor(16384) → 8消费者
→ 预入库队列 → 微批(5000条/5s) JDBC batch
→ ClickHouse(15分片×2副本轮询)
Dashboard: 按tracerId/uid/uri查询
一句话总结:用 UDP、内存队列、全链路压缩、列存数据库,换 10 倍吞吐和 70% 磁盘节省。值得学的是取舍思路,不是拿来即用——各公司索引字段不同,必须二次开发。
从设计模式视角复盘,全项目几乎是一本分布式惯用法教科书:SPI 加 Provider 做可插拔配置中心,策略模式做采样,模板方法做配置监听,DCL 单例遍布工厂类,Disruptor 做无锁队列,微批做写入聚合,责任链做 Netty 编码,装饰器做 body 缓存,Builder 做启动配置,TTL 做跨线程上下文。每一处都不是炫技,而是对应一个具体的性能或扩展性诉求。
CompressHandler.compressLog 缺 return:小于阈值本应跳过压缩,实际无条件压。目前影响有限但要改「Disruptor 为什么比 BlockingQueue 快?」——答:环形数组加序号 CAS,无锁;预分配事件对象消除 GC;单生产者模式下连 CAS 都省了。JLog 用它做 worker 的接收缓冲,扛住 UDP 洪峰。
「微批写入为什么对 ClickHouse 重要?」——答:ClickHouse 的 MergeTree 每次插入都生成新 part,小批量高频写会炸掉后台 merge。攒 5000 条或 5 秒一次提交,把 part 数量控住。
「怎么扛住超出集群容量的流量?」——答:worker 层加内存队列做削峰,队列是有界的、满了丢弃,用内存换峰值、用丢弃保可用性,同时 worker 无状态可快速扩容。