我们团队的后端技术栈里一直流传着一个内部代号叫ax的调度引擎。说起来有点尴尬一开始它只是我在某个版本迭代里临时写的任务调度模块后来一步步演变成了承载全公司定时任务、异步批处理、甚至跨系统数据对账的ax调度平台。这篇文章就把ax从诞生到生产落地的完整过程捋一遍包括核心架构、关键代码、踩过的坑以及怎么把调度系统从能把任务跑起来做到跑得稳、跑得省、跑得可控。如果你也在为任务调度选型发愁或者正打算把现有框架替换成更贴合自身场景的方案这篇文章可以给你一个完整参考。1. ax调度器诞生记我们为什么没有直接选开源框架1.1 原有调度体系的三个核心痛点先交代一下背景。我们的业务线主要是面向B端的交易系统任务调度的需求很杂有凌晨跑的数据汇总有用户触发后的异步通知有需要分片处理的海量对账还有一些跨团队接口的定时补偿。早期团队规模小调度需求基本靠Linux crontab加脚本硬撑后来人多了、任务多了问题就集中爆发了。第一个痛点是任务状态黑盒。crontab只管到进程起来了但任务在里面卡住了、报错了、重复跑了统统不知道。出问题只能靠业务方反馈然后大家去翻日志效率很低。第二个痛点是没有统一的重试和补偿机制。下游接口偶发超时任务失败了就只能等下一个周期或者靠人工手动补跑。第三个痛点是无法精细控制并发。某个任务跑慢了会把同一台机器的其他任务拖垮凌晨高峰期一批任务同时触发机器负载直接飙到告警线。这三个痛点本质上指向同一个问题我们缺的不是定时执行工具而是一个能管任务全生命周期的调度系统。1.2 技术选型对比为什么最终决定自研轻量级引擎当时团队内部开会讨论过三轮主流方案都摆在桌面上比较过。Quartz是Java生态里的老牌选手单机能力强集群模式需要配合数据库锁但运维成本不低而且它只解决了什么时候触发的问题任务管理、失败重试、分片这些能力都得自己再做一层。XXL-Job功能全有可视化控制台但它的架构相对重需要部署admin和executor两套服务对我们这种几十台机器规模、不想引入太多额外组件的团队来说有点杀鸡用牛刀的感觉。DolphinScheduler更偏向工作流编排DAG节点调度是它的强项但我们的场景里有很多是毫秒级的延迟任务和复杂的优先级抢占它在这一块并不擅长。我们最后决定自研ax理由其实很朴素第一我们对核心依赖的掌控欲比较强希望调度逻辑完全在自己的代码库里方便排查和二次开发第二我们需要的核心能力其实就四样——可靠触发、统一重试、并发控制、可控的优先级自己做一个几百行的调度内核完全能覆盖第三团队里刚好有成员对时间轮、分布式锁这些底层组件比较熟有把握踩坑时能兜住。这里不是贬低开源框架的意思而是说选型最终要匹配实际场景的复杂度。如果你的团队有完善的运维体系、需要多租户和复杂工作流那开源方案一定比自研稳妥。但如果只是我们这种规模自研反而能收获最大的灵活性。2. ax的核心抽象触发、调度、执行三段式模型2.1 任务元数据建模与路由规则动手写代码之前我们先把调度系统要管的东西抽象清楚。ax把任务分成三个层级任务Job、调度实例Instance和执行单元Execution。任务是一段带有配置信息的业务逻辑描述包含任务名、负责人、超时时间、重试策略、执行的Handler名称等。调度实例是任务在某一次触发时生成的运行记录比如一个每天凌晨2点跑的任务每次触发都会产生一条instance记录。执行单元则是instance被分配到具体机器上之后真正执行的那次调用。任务路由规则上我们最开始用的是简单的轮询加随机后来发现有些任务因为数据倾斜落在某一台机器上就是跑得慢。于是加入了基于一致性哈希的标签路由可以给机器打标签比如订单组专用的执行机也可以按数据维度路由比如处理订单ID尾号为奇数的全部落到A机器。这个设计在代码里就是一个路由策略接口不同的任务可以配置不同的策略实现。2.2 触发层时间轮与延迟队列的取舍调度系统最核心的问题是怎么高效地知道下一个该执行的任务是谁。最原始的做法是定期扫表比如每隔几秒把数据库里所有待执行的任务扫一遍看谁到了触发时间。这在任务量小的时候没问题但任务量大了之后扫表频率和延迟是矛盾的扫慢了任务不准时扫快了数据库压力大。ax的触发层用的是时间轮Timing Wheel加延迟队列的组合。简单解释一下时间轮它就像一个刻度均匀的钟表每个刻度上挂着一个链表链表里放着该时刻需要触发的任务。指针每走一个tick就把当前刻度上的任务全部取出来投递到调度队列。延迟队列则是处理某个任务还需要等很久的情况比如一个任务设置了30分钟后执行先把任务放到延迟队列里等时间到了再推进时间轮。我们用Go实现了一个分层时间轮外层是秒级刻度内层是毫秒级精度。这样既能支持定时任务到秒级触发又能支持延迟任务到毫秒级触发。实测下来单机支撑10万个待触发的任务触发精度能控制在几十毫秒以内而且CPU占用很低。如果你是自己实现调度系统我建议优先考虑时间轮而不是定时扫表前者的复杂度并没有想象中高。2.3 执行层线程池隔离与资源水位调度系统把任务触发出来只是第一步更重要的是任务执行不互相干扰。ax里给每个任务元数据配置了独立的执行队列底层是有界线程池。同一个Handler的实例共享一个线程池但不同Handler之间是隔离的这样某个任务慢吞吞地占满了自己的线程池也不会影响其他任务。线程池的容量参数不是拍脑袋定的我们根据任务的平均执行时长和超时时间做了估算。举个例子某个任务平均执行时长是5秒线上允许的积压上限是200个实例那么线程池核心线程数至少是200乘以5再除以允许的最大积压时间算下来大概需要20个线程才够。如果你对线程池的参数拿不准可以先压测再上线我们线上每个线程池都做了动态配置接口不用发版就能调整。资源水位这块ax给每台机器的执行器都上报了一个负载指标包括CPU、内存和当前队列长度。调度器在分配实例前会把负载过高的机器挪出候选池这样从根上避免了把任务派给一个已经忙不过来的机器。3. 关键实现细节与关键代码实践3.1 任务表的schema设计与状态机调度系统的数据模型是地基地基没打好后面加功能会很痛苦。ax里最核心的表就是任务表和实例表我把关键字段列一下你可以直接参考。job任务表的关键字段包括job_id、job_name、handler执行器Handler名、cron触发规则、timeout_seconds超时时间、retry_count失败最大重试次数、retry_interval重试间隔秒、route_strategy路由策略、concurrency_limit并发上限、enabled是否启用、version乐观锁版本号。并发上限这个字段很重要它控制的是同一个任务同时执行的实例数量防止任务被上游或下游放大导致雪崩。instance实例表的关键字段包括instance_id、job_id、trigger_time触发时间、execute_time实际开始时间、finish_time、status状态、worker执行机器、retry_count已重试次数、trace_id链路追踪ID。status我们定义了完整的生命周期WAITING已触发待执行、RUNNING执行中、SUCCESS成功、FAILED失败、CANCELLED取消、TIMEOUT超时。状态机转换里有个容易出错的地方从RUNNING到SUCCESS和RUNNING到TIMEOUT会是竞争关系因为任务可能在超时判定的前后脚刚结束。我们解决的方式是状态更新全部用CASCompare And Swap更新的同时校验当前状态和预期状态不匹配就说明已有其他流程改过了当前流程直接丢弃更新。这个机制保证了同一个实例不会被重复收尾。3.2 时间轮的工程实现时间轮的代码并不神秘核心就是一个环形数组加延迟队列。我用Go写了一个简化版本关键逻辑是这样的type TimingWheel struct { tickSize time.Duration wheelSize int current int slots []map[string]*JobTimer stopCh chan struct{} } func (w *TimingWheel) Add(jobID string, delay time.Duration) { ticks : int(delay/w.tickSize) 1 slot : (w.current ticks) % w.wheelSize w.slots[slot][jobID] JobTimer{jobID: jobID, rounds: ticks / w.wheelSize} }代码里有一个rounds字段表示这个任务转几圈才执行。当指针扫到某个槽位时把槽位里所有的JobTimer拿出来rounds减到0才真正投递到调度队列否则重新放回对应槽位。这样做的目的很简单如果时间轮槽位有限而任务延迟时间长直接用多少圈之后来避免占用多个槽位内存更省。结合延迟队列的逻辑是任务先进入最小堆堆顶是最近需要触发的时间触发时再推进时间轮。这两者一个处理准点大规模触发一个处理稀疏长延迟任务配合得非常好。实现的时候有个细节槽位里的map要加锁因为可能有多个goroutine同时添加任务指针推进时也要保证并发安全。3.3 分布式环境下的一致性保证调度系统在分布式环境下最大的问题是怎么保证同一时刻只有一个调度器在推动时间轮。ax的方案是使用Etcd做leader选举只有成为leader的节点才执行触发逻辑其他节点作为备用节点监听leader的心跳。如果leader节点宕机备用节点会在租约过期后抢锁成为新leader。这里有个经典的坑leader节点不能只靠心跳续租来判断自己是不是还持有锁。我们曾经遇到一个问题leader节点的GC停顿stop-the-world超过Etcd租约时间锁被另一台节点抢走但老leader在GC恢复后还在继续触发任务造成双重触发。后来我们的修复方案是在触发每个任务前都先读一次带版本的租约如果版本号已经不是自己的了立刻放弃触发。这个每任务校验虽然有一点额外开销但换来了绝对的幂等保障。同样的逻辑也用在任务分配阶段。调度器从数据库的实例表里捞待执行的实例时不是直接mark状态而是先执行一个带条件的更新语句比如UPDATE instance SET statusRUNNING, worker当前节点 WHERE instance_id? AND statusWAITING如果影响行数不是1说明这个实例已经被其他节点抢走了直接跳过。这个简单的原子操作避免了引入复杂的分布式锁而且在高并发下非常高效。4. 生产环境实测ax调度踩过的六个坑任何调度系统都是靠线上故障喂大的ax也不例外。我把我们踩过的坑按严重程度列出来每个坑都附带完整的排查链路希望能帮你省点时间。4.1 时钟回拨引发的任务空转第一个印象深刻的问题是时钟回拨。某次运维在低峰期对几台执行器做了NTP时间校正其中一台机器的时间往回跳了几百毫秒。正常来说几百毫秒不算大事但触发器的精度本来就是毫秒级这导致时间轮里本来应该触发的任务被回拨的逻辑吞掉了任务直到下一个周期才被发现没跑业务数据整整晚生成了一天。排查过程花了我们半天时间最后是在触发日志里看到某个任务本该22:00:00.120触发结果触发时间变成了21:59:59.780明显不符合常理才往时钟回拨方向查。修复方案是两个一是触发时间计算不依赖系统时钟而是统一依赖Etcd或数据库的时钟虽然会有几十毫秒的网络延迟但换来的是全局一致二是检测到时间回拨超过阈值时主动清空时间轮并重新加载数据库里所有待执行的任务宁可重复执行也不能漏执行。后来我们把时钟同步异常直接接到告警再遇到类似问题可以第一时间感知。4.2 线程池饥饿导致的假死第二个坑是线程池饥饿。某次压测时发现一个任务明明配置了20个线程但所有线程都处于RUNNING状态业务日志却一条都不输出。抓完goroutine堆栈后真相大白这个任务的业务逻辑里同步调用了另一个任务的接口而那个任务正好也占满了自己的线程池两边互相等形成了死锁般的循环等待。这也是为什么我们在任务配置里单独抽出了一个下游调用的最大等待时间参数任何同步调用都必须带超时不带的在代码评审阶段就会被拦下来。这个坑的排查链路是先看线程池活跃度发现全部RUNNING后没有立刻怀疑死锁而是先看了完整堆栈找到所有线程都在等同一个HTTP调用再顺着调用链发现跨任务依赖。希望你不要靠踩一遍才能记住这个教训——调度系统里的任务之间不能有同步的、无超时的相互调用这是铁律。4.3 任务幂等与恰好一次的错觉第三个坑是重复执行。某天凌晨对账任务跑完后下游收到了两批数据查了下instance表发现同一个任务实例有两次RUNNING记录而且两次都是真的执行完了。原因是我们在任务执行完成、但状态还没写入数据库时发生了网络超时调度器判定执行超时又重新派发了一次。这里要明确一个事实分布式系统里没有完美的恰好一次只有最多一次或至少一次。我们能做到的是保证最多一次的收尾因此引入了任务内幂等的概念每个Handler在执行前必须调用ax提供的幂等检查API业务侧可以按业务主键去重。对账任务后来加了一个幂等表按对账日期建唯一索引第二次执行时发现同一天的数据已经存在直接返回成功不再往下游发数据。调度系统能帮你控制重试次数但业务侧一定要设计好幂等逻辑这是个老生常谈但永远会踩的坑。4.4 锁过期引发的双主问题第四个坑是Etcd锁短暂过期这个我在上一节提过这里详细说一下修复后的验证过程。修复后我们做了一次混沌测试在leader节点上手动触发了一次3秒的GC停顿同时观察备用节点的行为。结果是备用节点在2秒时抢到了锁成为新leader老leader在3秒GC结束后触发当前任务前检查租约版本发现不匹配主动退位整个过程没有产生一个重复触发。测试通过后我们把GC停顿、锁版本冲突这两个指标都接入了监控面板线上出现过几次偶发的锁抢占都能在监控里看到原因也不再是故障了。4.5 重试风暴打垮下游第五个坑是重试风暴。业务方给我们上报了一个问题某下游系统在凌晨出现了明显的请求洪峰负载直接打满。追查后发现是我们某个任务的失败重试机制不够完善——它配置了失败重试3次但三次重试都是立即执行加上任务本身是每5秒执行一次一旦下游连续失败重试请求和周期请求叠在一起就产生了流量放大。修复方案很直接重试间隔必须支持指数退避加随机抖动。失败第1次等2秒第2次等4秒第3次等8秒并且每次加一个0到2秒之间的随机偏移避免多个实例在同一时刻同时重试。这个配置用起来以后再也没出现过因为重试产生的流量风暴。后来我们甚至给重试加了熔断保护某个任务连续失败超过5次自动进入CIRCUIT_OPEN状态这个状态下的任务只记录日志不再执行直到人工恢复或等待冷却时间结束。4.6 任务堆积与积压告警第六个坑相对温和但很常见任务积压。某个任务在线程池满的情况下新触发的实例不断进入等待队列如果不看队列长度你根本感觉不到任务已经排队排到明年了。ax的解决方式有两层一是给每个队列设置了积压上限超过上限时新触发的实例直接标记为失败并走告警而不是无脑堆积二是对积压数量做了时间维度的监控比如队列深度超过100持续5分钟就告警而不是等到业务方发现数据延迟了才反馈。调度系统的可观测性和调度功能本身同等重要这六个坑里有将近一半如果能提前看到指标都能更早发现。5. 从能用到好用ax调度的进阶设计5.1 优先级抢占与排队策略基础功能稳定之后我们开始处理资源竞争的问题。多个任务同时触发时谁先跑早期ax按触发时间先后排队简单公平但业务方不答应了。比如用户下单后的实时通知任务延迟几秒钟用户就要投诉而同时间的离线报表任务晚跑几分钟却完全无所谓。这逼着我们给任务加上了优先级概念。ax做了两级调度时间轮触发实例后实例先进入按优先级排序的PENDQPending Queue调度线程再按优先级和入队时间的加权值挑选执行器分配实例。权重公式可以简单理解成有效优先级 任务优先级 - 等待时间 * 衰减系数。这样高优先级任务可以优先执行但如果低优先级任务已经等待太久它也能慢慢升上来避免饿死。这里有一个配置上的经验优先级不要设置太多档位3到5档即可档位太多会导致运维配置成本剧增而且大家都会往最高档挤最后最高档全都拥堵反而失去了区分度。我们内部就五档P0即时类、P1交互类、P2默认、P3批量、P4报表类。5.2 失败重试的指数退避与冷却重试策略单独拿出来说是因为这是调度系统跟业务方交互最多的部分之一。ax的重试策略是四个参数组合最大重试次数、初始重试间隔、重试倍数、最大重试间隔。默认配置是3次重试、初始2秒、倍数2、最大间隔30秒。对应的伪代码逻辑func NextRetryDelay(currentRetry int, baseInterval time.Duration) time.Duration { delay : baseInterval * time.Duration(1currentRetry) if delay maxInterval { delay maxInterval } return delay time.Duration(rand.Intn(2000))*time.Millisecond }这个函数的含义是第1次重试等2秒加上0到2秒抖动第2次等4秒加抖动第3次等8秒加抖动。抖动是必须的因为如果没有抖动同一批任务同时失败时重试请求会像阅兵一样整整齐齐地到达下游照样造成峰值。另外重试次数不建议设置太大超过5次的重试大概率说明任务本身有问题与其反复打下游不如进入告警流程让值班同学介入。5.3 任务编排与动态分片最后一个进阶能力是任务编排。起初ax只支持单任务循环执行后来业务方要求先拉数据、再清洗、再落库这种有依赖关系的流水线。我们没有引入完整DAG引擎而是实现了一个轻量的Flow模型一个Flow包含多个Stage每个Stage可以声明依赖哪些上游Stage执行器根据依赖关系逐级推进。这个模型比完整DAG简单得多但已经覆盖了绝大多数业务需求而且调试、观察中间状态都非常直观。动态分片则是为了应付数据量大的批处理任务。比如对账任务每天的数据量可能从100万到500万波动固定分片数会导致要么资源不够要么资源浪费。ax支持配置一个分片基数调度器在触发时询问Handler当前数据量再算出需要多少个分片实例每个实例带一个shard_index和shard_total参数。Handler按这两个参数做数据切分。这个能力上线后原来需要跑45分钟的对账任务在动态分片妥善调试后压缩到了8分钟以内而且没有人工干预。6. 最后再说几句关于ax调度的体会从一开始临时拼凑的触发模块到后来承载全公司核心任务调度的平台ax这步棋走得比我们预想的更远。个人体会最深的一点是调度系统的本质不是技术而是稳定性。它连接着上下游所有业务任何一个细微的重复执行、漏执行、延迟执行都会被下游放大成严重事故。所以所有优化都必须围绕可控来做状态可查、失败可重试、重试可退避、并发可限制、流量可观测。另外一个经验是调度系统上线初期宁可保守也不要求花哨。我们第一版ax只支持最简单的单机定时执行和手动重试没有时间轮没有分布式锁就是扫表加线程池。稳定运行了两个月才逐步加入时间轮、leader选举、优先级和编排能力。渐进式演进的过程里每个新特性上线前都在灰度环境跑了至少一周并且都保留了降级开关——万一新逻辑出问题可以一键切回旧逻辑。如果你也打算造一个类似的调度引擎或者正在给团队选择调度方案我的建议是先盘点清楚自己的业务场景再决定是选型还是自研选型也要看清楚开源工具的能力边界。而如果你选择自研我会建议你从数据模型和状态机开始设计这两样东西定好了后面的功能都能稳扎稳打地加进去。调度系统的核心价值不在调度器本身而在于它让所有依赖时间的业务逻辑变得可预测、可依赖这一点在任何规模的公司里都值得认真对待。
