Kubernetes Job 重试把下游打挂:backoffLimit 与并发度配错的连锁反应
一个本该跑一次的批处理 Job,在某次依赖抖动后开始反复重建 Pod,把下游接口打到限流。根因通常不是重试本身,而是 backoffLimit、parallelism 与幂等性没有一起设计。
半夜收到下游团队的消息:你们的同步任务把我们的接口打限流了。上去一看,一个配置了 backoffLimit: 6 的 Job 因为上游偶发 429 一直在重建 Pod,而每个 Pod 内部又自带三层重试——重试次数是相乘的,不是相加的。
backoffLimit 数的是失败次数,不是重试次数
这是最容易读错的一个语义。backoffLimit: 6 表示最多允许 6 次失败,也就是说总共最多会创建 7 个 Pod。如果容器内还有自己的重试逻辑,真实请求量是 容器内重试次数 × Pod 数量,而不是你以为的 6 次。
重试间隔由 Job controller 做指数退避,起始间隔很短,逐次翻倍并封顶在分钟级。这意味着「失败得越多、打得越慢」,但只要有并发度,单位时间内的请求量仍然是放大的。
放大链路是怎么形成的
典型的三段式:
- 下游返回 429 或 503,Pod 以非零码退出,
restartPolicy: OnFailure让容器原地重启,同时 Job controller 也在统计失败次数。 parallelism被设成了 10 而completions是 100,于是任何一次抖动都会让 10 个 Pod 同时重试。- sidecar 容器不退出,Pod 永远不进入 Completed,直到
activeDeadlineSeconds到期才被强制终止,重复的活儿又被下一轮捡起来。
第一段是触发条件,第二段才是真正的放大器。很多事故复盘里写「重试太激进」,其实激进的是并发度。
还有一个隐性放大源:Job 由 CronJob 创建、上一轮没跑完而 concurrencyPolicy 又是默认的 Allow 时,两轮 Job 会同时在跑,重试压力直接翻倍。
一份能收敛的 Job 配置
apiVersion: batch/v1
kind: Job
metadata:
name: nightly-sync
spec:
backoffLimit: 2
activeDeadlineSeconds: 1800
parallelism: 2
completions: 20
completionMode: Indexed
ttlSecondsAfterFinished: 86400
template:
spec:
restartPolicy: Never
containers:
- name: sync
image: registry.example.com/batch/sync:1.4.2
env:
- name: SHARD_INDEX
value: '0'
resources:
requests:
cpu: 200m
memory: 256Mi
几个取值背后的理由:restartPolicy: Never 把重试完全交给 Job 层,避免容器内重启和 Job 重试叠加计数;parallelism 压到 2,让失败时的放大倍数可控;completionMode: Indexed 让每个 Pod 知道自己是第几片,配合分片拉取,重试不会重复处理同一批数据(该模式会向容器注入分片序号环境变量);activeDeadlineSeconds 是兜底,防止 sidecar 不退导致 Job 永远不结束。
CronJob 还要额外加一条,否则上一轮没跑完下一轮又开始:
spec:
concurrencyPolicy: Forbid
startingDeadlineSeconds: 300
重试要安全,前提是幂等
把重试次数调小只是减少伤害,真正的解是让重复执行不产生副作用:
- 写入用业务唯一键做 upsert,而不是先查再插;
- 用分片号 + 批次号构造幂等键,重试时命中同一条记录;
- 长任务记录水位(处理到哪个 offset / 哪一天),重启后从水位继续;
- 需要抢占的逻辑用分布式锁,锁的过期时间要大于单批处理耗时。
适用边界与常见坑
backoffLimit: 0表示一次都不重试,适合「失败必须人工介入」的任务,别把它当成默认值。- 用
kubectl get pod -w盯着 Pod 的创建频率,比事后数失败次数更早发现异常。 - 只看 Job 的
status.failed会漏掉容器内部重试造成的压力,监控要同时看 Pod 创建速率和下游的错误码分布。 ttlSecondsAfterFinished依赖 TTL 控制器开启,集群没开的话配了也不生效,失败的 Pod 会一直堆着。- 把
activeDeadlineSeconds设得比单批实际耗时还短,会表现为「任务永远失败但日志看不出原因」,部署前先量一遍 P99 耗时。
正在加载评论…