调度中心只有一台,它一挂,全公司几百个定时任务集体哑火。但调度中心部署两台,任务会不会跑两遍?这是 XXL-JOB 集群模式最经典的问题。这篇讲它怎么用一把数据库行锁解决。
前置阅读:17.4 对比过分布式锁方案。这篇看 XXL-JOB 拿 DB 锁做高可用的取舍。
你部署了一台 admin。某天机器内存溢出重启,期间所有任务静默丢失,第二天报表缺数才发现。领导问:为什么不多部署几台?你心里清楚:多台会不会重复触发,才是真问题。
XXL-JOB 的答案很朴素:多台 admin 共享同一个 MySQL,靠行锁排队。
多个 admin 节点就像多个柜员,但叫号机(MySQL 行锁)只有一台。谁拿到 schedule_lock 这行记录的锁,谁这一秒干活;其他柜员排队等着。柜员请假(节点宕机),事务回滚锁自动释放,下一个柜员立刻顶上。
不需要 Redis、不需要 Zookeeper——数据库本身就是那个协调者。
# admin 节点1 与 节点2 使用完全相同的配置,连同一个库
spring.datasource.url=jdbc:mysql://{{HOST}}:3306/xxl_job?serverTimezone=Asia/Shanghai
spring.datasource.username={{DEMO_USER}}
spring.datasource.password=****
# 执行器把两个 admin 都配上,任一挂掉自动切换
xxl.job.admin.addresses=http://{{HOST}}:8081/xxl-job-admin,http://{{HOST}}:8082/xxl-job-admin
# 节点1 和 节点2 分别启动,前端挂 Nginx 做管理台负载均衡
# 验证:kill 掉节点1,观察任务依然准点触发(节点2接管)
源码在 JobScheduleHelper,预读线程每秒执行:
transactionStatus = getTransactionManager().getTransaction(...);
String lockedRecord = getXxlJobLockMapper().scheduleLock();
// SELECT * FROM xxl_job_lock WHERE lock_name='schedule_lock' FOR UPDATE
FOR UPDATE 是悲观行锁(先锁住记录再操作,别人只能等)。整个「预读任务 + 算时间轮 + 更新 nextTriggerTime」都在同一个事务里,提交时锁才释放。
这意味着:同一秒内,多个 admin 节点中只有一个能进入调度逻辑。其他节点阻塞等锁,拿到后重新查表——此时 nextTriggerTime 已被前一个节点推进,不会重复读出同一批任务。一致性就这么被串行化保证了。
节点宕机的瞬间,它的事务还没提交,MySQL 自动回滚,锁随事务释放。其他节点的预读线程下一秒就能拿到锁继续调度。故障转移天然完成,没有选举、没有心跳检测。
调度本质是单点的(同一时刻只有一个节点干活),听起来很糟?其实不然:
1. 预读被串行化,但触发是异步的——任务丢给 JobTriggerPoolHelper 的线程池立即返回,吞吐不受锁影响
2. 每秒一次的窗口查询非常轻,几百上千个任务毫无压力
对绝大多数场景,这个「伪分布式」完全够用。
集群高可用还有另一半:路由策略里的 FAILOVER(故障转移)。admin 触发前先对 addressList 里的执行器逐个 beat 探活,第一个活着的才派任务;BUSYOVER(忙碌转移) 则先 idleBeat 检查对方是否空闲。
执行器自己挂了任务失败了怎么办?配置失败重试次数,admin 会重新触发。重试是分片粒度的——分片广播下只有失败的那片重试,成功的片不重复跑。
集群下执行器的行为差异,核心都落在「路由策略」上——admin 每次触发时怎么从 addressList 里挑机器。十种策略各管一摊:
| 策略 | 行为 | 适用场景 |
|---|---|---|
| 第一个 / 最后一个 | 永远选固定端 | 专用机器 |
| 轮询 / 随机 | 均匀打散 | 普通负载均衡 |
| 一致性 HASH | 同一 job 固定打同一台 | 需要本地缓存亲和 |
| LFU / LRU | 按使用频率/时间挑 | 更聪明的均衡 |
| 故障转移 | 逐个 beat 探活再用 | 高可用首选 |
| 忙碌转移 | idleBeat 挑空闲的 | 防任务堆积 |
| 分片广播 | 全部执行器都触发 | 大数据分片 |
这些策略实现在 ExecutorRouter 的各子类里,触发时由 ExecutorRouteStrategyEnum 按 job 配置实例化——策略模式的教科书应用,加一种路由只需加一个子类。
这是执行器侧的集群问题。三种选择:
阻塞策略配置在任务上而不是执行器上,同一个执行器里不同任务可以各选各的。
重试也救不回来时走告警链路:内置邮件告警,JobAlarm 是可扩展接口,接钉钉、企微自己实现一个 Bean 即可。生产环境务必配上,否则任务静默失败几天没人知道。
「XXL-JOB 集群怎么保证任务不重复执行?」——答:多节点共享同一 MySQL,预读调度线程在事务里对 xxl_job_lock 表的 schedule_lock 记录加 FOR UPDATE 行锁,同一时刻只有一个节点能预读并推进 nextTriggerTime,其余节点排队,天然串行化。
「这种设计的高可用和短板?」——答:节点宕机事务回滚锁即释放,其他节点秒级接管,无需额外组件;短板是调度能力受单库锁限制,且必须连主库,不能读写分离。