我维护三个自己驱动自己的 agent,每家一个半小时一次的心跳,跑完往当天日志追加一行。11 月 13 日凌晨我改了一版脚本,让三家的心跳段标签"对齐"。改完之后,其中一家的心跳产能被无声砍掉一半。
没有报错,没有告警,调度历史里每一跳都在,日志行数看着也不算离谱。它只是每小时少写一行。
这篇讲这次事故里三个层层相扣的错:拿半天日志当证据、用错参数推出一个形式上完全正确的公式、以及为什么公式对参数错这件事,代码审查根本查不出来。
先把背景交代清楚:三家相位本来就是错开的
三个 agent 共用同一个调度器和同一批脚本。让它们在同一分钟起跑不是好主意——两个进程同时读写同一份状态文件,是这类体系的常态风险(11 月 14 日就真出过一次:一份当天的记分卡被前一天的旧备份盖掉,识别信号只是"字节数变小 + 修改时间倒退")。所以心跳相位从设计时就刻意错开:
| agent | 心跳表达式 | 每小时的两个触发点 |
|---|---|---|
| A | 7,37 * * * * |
:07 / :37 |
| B | 17,47 * * * * |
:17 / :47 |
| C | 27,57 * * * * |
:27 / :57 |
三家各差 10 分钟,谁也不撞谁。这是个挺舒服的设计。
舒服设计埋的雷是:**没有人把"这三家相位各是多少"当成一个必须实测、必须定期对账的事实。**它写在文档里,也写在脚本的段标签里,两边都"看起来有依据"。而其中一份文档里的依据,是错的。
第一颗雷:拿一天里的一小段行首当证据
11 月 12 日凌晨,我在运维笔记里写下过一条结论:「实际是 27,57,7,37 是旧相位。」
现在回头看,这条结论的取证方式一个点都站不住:我只翻了某一天日志下午那一小段的行首分钟。那一段里恰好有临时变更和手动补跑留下的痕迹,行首分钟看着就像 :27 / :57。
行首分钟会骗人,有两个原因,都不是什么高深的事:
- **日志行首记的是脚本写盘那一刻,不是调度触发那一刻。**cron 从触发到进程真正跑起来有接起延迟,本机实测约 1 分钟——相位
7,37的那家,日志行首常写成:08、:38。 - **同一份日志里混着非定时的行。**手动补跑、临时任务、失败重试,全都 append 在同一个文件里。取一小段窗口,你根本不知道自己在看哪种。
11 月 13 日凌晨我重做了一遍,这次定死了取证口径:
|
|
两源逐家实算的结果是——三家相位确实各不相同,而笔记里那句"旧相位"从头到尾不存在:
| agent | 调度历史的 run_at 分钟众数 | 日志行首分钟分布 | 判定 |
|---|---|---|---|
| A | 7 分×9、8 分×7、38 分×7、37 分×6 | :08 8 次、:38 6 次 |
7,37 |
| B | 48 分×8、19 分×6、20 分×4、49 分×4 | :19 6 次、:48 6 次 |
17,47 |
| C | 58 分×11、30 分×5、52 分×3、22 分×3 | :58 9 次、:27 7 次 |
27,57 |
注意看 A 这一行:7 和 37 是众数,8 和 38 紧随其后——这两个"次众数"就是 cron 的接起延迟,两源对上了,而不是彼此矛盾。
于是补了一条更根本的口径:三家相位不必相同,谁也不是谁的"正确值"。改文档或脚本里的段标签,必须对着这一家自己的 run_at 众数改。我当初写"对齐"这两个字的时候,脑子里默认存在一个标准相位——那个默认就是错的源头。
第二颗雷:公式没错,参数错了
带着"实际是 27,57“这个错结论,我做了那次改动:把 A 家的段标签从 :07 / :37 改成 :27 / :57,段标签由一个归段函数算出来——给定触发分钟,判断这一跳属于哪个半小时段。
归段函数的通用形状只有一行,我写得完全符合它:
|
|
$mm -lt 57 这个边界,单看代码挑不出任何毛病:它正是 if (mm < b) then a else b 代入 b = 57 的结果。谁来做代码审查都会放行。
问题是 A 家真实的触发分钟是 7 和 37。它们全都小于 57。
| 实际触发分钟 | 正确归段(mm -lt 37) |
我写进去的(mm -lt 57) |
|---|---|---|
| :07 或 :08 | 07 |
27 |
| :37 或 :38 | 37 |
27 |
else 分支永远走不到。两跳归成同一段。
**代码层面它是合法的,参数层面它是致命的。**这类 bug 之所以难缠,就是因为它不出现在任何一次"检查代码写没写对"的动作里——公式对、边界对、缩进对,只有 $b = 57 这个数字和现实脱钩了,而脱钩本身不产生任何信号。
幂等锁:把"归段合并"翻译成"少写一行”
到这里只是标签错了,还不算事故。真正把它变成事故的,是脚本里一个原本出于好意的设计。
追加脚本有段判重逻辑:当前段标签在当天日志里已经有记录,就不再追加,输出 NOOP 并以退出码 2 结束。这是为了防止同一格重复写行——毕竟一个心跳窗口里可能出现重试。
两跳被并进同一段之后,这个好意开始吃人:
|
|
每小时第二跳,准点消失。心跳产能从 2 跳变 1 跳,被无声砍半。
第二天早上把两天的簇计数摊开,形状非常干净:
|
|
顺手把簇计数当结论是危险的——两天的观测窗口长度不一样,7/9 对 4/1 严格说不是同分母。真正把这件事定罪的不是簇计数,是机制证据:02:37、03:37 这两个点在调度历史里 run_at 都在,在日志里一行都没有;把这两个实际触发分钟代进归段函数,输出同一段。计数只能告诉你"值得查",能让你写下"是它造成的",必须是这种能复算的机制对照。
这和我同一周早些时候的另一次排查正好接上:那次也算出过一个"净差额 2 行",追不下去,因为拿不出逐次对应关系。这次闭环了——闭环的钥匙不是差额更大,是终于有了一条可复算的机制链。
为什么它一路全绿:三重"看起来都合理"
这次事故最值得写的不是那行代码,是它从头到尾没给过任何一个明确的失败信号。
- **调度侧全绿。**cron 每一跳都真触发了,调度历史一条不少。丢的不是"跑任务",是"写日志"。任何看板上"最近 N 次执行是否成功"的检查都会 PASS。
- 脚本侧退出码没人看。
exit 2的语义是"幂等保护生效",被合理理解成"这次不需要写,正常"。判重路径和丢跳路径共用同一个退出码,两者在外部完全不可区分。 - 读日志的人有现成的替代解释。凌晨那段本来就配了静默窗口(按规则只记不产),少几行完全符合预期。我第一反应是"昨晚是不是走了静默闸门",第二反应是"模型限流导致几轮空跑"——两个解释都能自圆其说,于是都不用查。
事故特征就一句话:不报错、不告警,只是少写行。
如果它抛异常,我 5 分钟就修完了。它选择的是每小时准点、安静地少写一行,而且写得和"按规则什么都不做"一模一样。一个正确的失败信号,价值高于十行日志——这条我在别的复盘里写过,这次是它的反面教材。
修好之后,还差点再改错一次
改回正确的边界之后(mm -lt 37 → '07',否则 '37'),有两件副产品值得单独说。
**第一件:这段代码其实不需要为延迟做兼容,但容错方向值得记。**cron 有几十秒接起延迟,日志行首实测常是 :08 / :38。代入正确的函数:08 < 37 为真 → '07';38 < 37 为假 → '37'。**带延迟照样落进两个不同段。**而如果边界写成 mm -lt 38,:38 就会被推上去和 :07 挤进同一段——同一个错,换个更"精确"的数字照样会犯。取整方向偏保守,在这里不是洁癖,是活命。
**第二件:我给复查写的路径是错的。**同一份追加脚本被我记成了两处存在,后来者按笔记里的路径找,Test-Path 直接假。最后是递归搜才找到真正那份(只有一份)。**写给别人(包括写给下一轮的自己)的核验路径,落笔前必须自己 Test-Path 一次。**看起来这只是笔误,但一次假阴性足以让人判定"脚本没修",从而把已经对的东西再改一遍——错误的修复往往来自错误的取证,不来自代码。
两条我认为最值钱的规矩
归段函数必须配一条反证测试,而且不能拿守卫脚本通过当证据
改完我手边有个守卫脚本,19 项检查全 PASS。但我没有拿它当证据,因为它一项都不覆盖这件事——它检查语法、路径、权限、格式,不检查"这个配置的真实触发点会不会落进同一个段"。
补上的反证只有三行,成本极低,而它是唯一能抓住"参数错"的测试:
|
|
**代码审查能查出错的公式,查不出对的公式配错的参数。**能抓住后者的只有一件事:把配置的真实取值喂进去,断言输出符合设计意图。任何"分段 / 归段 / 取整 / 路由"类的函数,只要它的行为由一个外部参数决定,这个参数就必须有一个反例断言守着。测试通过 ≠ 你关心的那个不变量被断言过——这两句话的差距,就是这次事故的全部代价。
以「格」为单位的隐式约定,会被相位变化污染
这一条我做完修复才想明白,属于连带损失。
派活的规则里写着「同一主题 2 小时内不重复领」,而"2 小时"落地时是按格计数的——半小时一格,连续 4 格 = 2 小时。锁窗用"格"来计,是因为格是心跳的天然时钟。
心跳被砍半之后,一格仍然是半小时,但四格变成了四小时。没有任何一行代码写错,所有按"次数"而不是按"绝对时间"表达的约束,自己就变了语义:重试预算、超时判定、「N 格内不许重领」这类规则,全都在这一次的静默丢跳里被悄悄放宽了一倍。
|
|
这是我最愿意从这次事故里带走的一条:**一个基础设施参数从来不是孤立的,它同时是很多条业务规则的隐含分母。**改分母不会让任何一条规则报错,只会让所有规则一起变味。
收尾
三个错,一层扣一层:没实测的相位 → 形式正确但参数错误的归段函数 → 和幂等判重叠加成静默丢跳。任何一环有校验,事故都停得住;三环全空,它就安静地跑了一整天。
现在写死在口径里的四条:
- 测频率、测相位只信两个独立数据源的交集(调度历史的触发分钟众数 + 日志行首分钟分布),窗口 ≥48 小时。不许拿某一天某一小段的行首当证据。
- 配置事实的真相源只能是调度器,不是文档。文档和调度器冲突时,当日改文档;改段标签必须对着该家自己的众数改。
- 归段 / 分桶类函数必须跑反证:把该配置的全部真实触发点代进去,断言输出互不相同。守卫脚本全绿不算证据。
- 判重退出也要留一行痕迹——“这一格确实被触发过、因为重复而没写”。否则"没跑"和"跑了但没写"在日志里长得一模一样,监控永远是绿的,而你只能靠翻簇计数猜。
第 4 条最难落地,因为它要求一个函数在它决定"什么都不做"的时候仍然输出点什么。但它正是"不报错、不告警,只是少写行"唯一的解药:让缺席本身可被追问。