很多编排框架一上来就拖一堆 Netty、Guava、Spring 依赖。asyncTool 反着来:pom.xml 里零第三方依赖,纯 JDK 8 实现,全项目 13 个类,拷包即用,京东 App 后台在生产跑。这篇看它的工程内功:线程池怎么管、无锁怎么做到、图怎么防死锁。
前置阅读:第 7 章讲过线程池隔离。这篇看 DAG 防死锁与循环检测的实现。
想象你要在网关层做 BFF 聚合编排。引入一个重量级工作流引擎,依赖树拉出来几十个包;自己手写 CompletableFuture,状态一多就糊。
asyncTool 的定位就是这个夹缝:轻到可以拷源码进项目,又把编排的脏活全干了。它的"轻"不是功能少,而是三个工程决策:纯 JDK、无锁化、自造时钟。
别的施工队(编排框架)干活要租吊车、租搅拌机(第三方库)。asyncTool 这支队伍只带自家的手动工具:
AtomicInteger 状态机)代替全站仪(分布式协调);SystemClock)代替每次打电话问标准时间(系统调用);工具少,但每件都打磨到刚好够用。
默认线程池是 CachedThreadPool,生产环境必须换成自定义有界池。示例演示两组业务用不同线程池隔离:
// 订单组:核心 8、最大 16、队列 200,拒绝时记日志降级
ExecutorService orderPool = new ThreadPoolExecutor(
8, 16, 60, TimeUnit.SECONDS,
new ArrayBlockingQueue<>(200),
r -> { Thread t = new Thread(r, "order-worker"); t.setDaemon(true); return t; },
new ThreadPoolExecutor.CallerRunsPolicy());
// 查询组独立一个池,互不影响
ExecutorService queryPool = Executors.newFixedThreadPool(32);
Async.beginWork(3000, orderPool, wA); // 订单编排用 orderPool
Async.beginWork(2000, queryPool, wB); // 查询编排用 queryPool
// 用完必须关闭,否则进程挂住
Async.shutDown();
注意:Async.executorService 若不显式传参则是 static 的全局池,多批次隔离时每个 beginWork 都要显式传入自己的池。拒绝策略选 CallerRunsPolicy(提交线程自己跑),避免任务被静默丢弃。
拒绝策略选型值得多说一句。四种内置策略里,AbortPolicy 抛异常会让整组编排直接失败;DiscardPolicy 静默丢任务最难排查;CallerRunsPolicy 让提交线程自己执行,天然背压(backpressure,下游忙不过来时上游自动放慢),大多数编排场景是首选。
主流程全程不用 synchronized。状态机用 AtomicInteger 加 compareAndSetState 推进:
INIT --CAS--> WORKING --CAS--> FINISH // 成功路径
INIT --CAS--> ERROR // fastFail 快速失败
只有 doDependsJobs(多依赖汇聚点)用了 synchronized——多线程同时唤醒同一个下游时,必须串行化判定依赖是否全部就绪。这是"能 CAS 就不锁,必须锁就锁最小临界区"的典型实践。
高并发下 System.currentTimeMillis 是一次系统调用,会成为性能瓶颈。asyncTool 的 SystemClock 用一个守护线程加 AtomicLong,每 1ms 刷新一次时间值;读时间退化为一次 AtomicLong.get(),快几个数量级。
// SystemClock 核心思路(伪代码)
private static final AtomicLong now = new AtomicLong(System.currentTimeMillis());
// 守护线程每 1ms 执行 now.set(System.currentTimeMillis())
public static long now() { return now.get(); }
这是京东系高并发中间件(hotkey、jlog)的通用套路。
DAG 的无环(acyclic,不存在 A 依赖 B、B 又依赖 A 的回路)是正确性的根基。asyncTool 从两个层面防死锁:
build() 自动补全对端关系,图结构始终单向推进,配错就是漏节点而非成环;beginWork 只从起始节点沿出边推进,节点执行完调 beginNext() 唤醒下游,唤醒方永远先于被唤醒方完成,天然不存在互相等待;汇聚点用 doDependsJobs 检查全部依赖状态,就绪才放行。配套的还有循环检查思路:依赖状态用 AtomicInteger 计数,某个依赖既不成功也不失败,汇聚点就永远不就绪——全组超时兜底会在阈值后 stopNow() 递归标记所有节点失败,保证进程不挂死。换句话说,即使图配出了环,超时机制也能让它降级退出,而不是死锁卡死。
上游节点执行完 beginNext(),下游任务跑在完成得更慢的那个上游线程上(串行场景),不开新线程。这比 CompletableFuture 的 thenCombine 链更省线程,代价是回调线程不可控,回调里别做重活。
高并发下这个设计还有一层好处:节点数多但线程数不涨。一个 45 个商品的批查询拆成 5 批并行,实际占用的线程数始终等于并行度,而不是节点数。吞吐瓶颈落在你传入的线程池上,容量可预期、可压测。
某个节点抛异常时走 fastFail:状态从 INIT 直接 CAS 到 ERROR,beginNext() 检查到上游是 ERROR,下游不再调度,直接沿出边把整条支链标记跳过。强弱依赖在这里分岔:强依赖的上游失败,下游短路;弱依赖的上游失败,下游照跑。一行 must 布尔,两种语义全收。
还有个精度问题别忽略:时钟 1ms 刷一次意味着时间戳最多偏差 1 毫秒。编排场景量耗时足够,但别拿它做秒级以下的精确计时统计——要精确差值就自己再调一次系统时间对比。
CachedThreadPool 无界,线上高并发会 OOM,必须换有界自定义池(官方 commit 修过线程不足导致卡死的问题);Async.shutDown(),否则线程池和 SystemClock 守护线程不退出,应用下不来;问1:为什么 asyncTool 敢用纯 JDK 实现编排?
答:编排本质是线程提交加状态推进,CompletableFuture.runAsync 加 AtomicInteger CAS 状态机就够,不需要任何中间件,所以能零依赖拷包即用。
问2:无锁设计里为什么还留了一处 synchronized?
答:多依赖汇聚点 doDependsJobs 里,多个上游线程会并发唤醒同一下游,判定"依赖是否全部就绪"必须串行化,锁的是最小临界区,其余路径全走 CAS。
问3:DAG 怎么防死锁?
答:构建期 Builder 单向补全依赖关系杜绝配环,执行期沿出边单向唤醒、唤醒方必先完成,即使图配错,全组超时也会递归 stopNow() 强制降级退出,不会互相等待卡死。