Kubernetes Job 重试把下游打挂:backoffLimit 与并发度配错的连锁反应

一个本该跑一次的批处理 Job,在某次依赖抖动后开始反复重建 Pod,把下游接口打到限流。根因通常不是重试本身,而是 backoffLimit、parallelism 与幂等性没有一起设计。

半夜收到下游团队的消息:你们的同步任务把我们的接口打限流了。上去一看,一个配置了 backoffLimit: 6 的 Job 因为上游偶发 429 一直在重建 Pod,而每个 Pod 内部又自带三层重试——重试次数是相乘的,不是相加的。

backoffLimit 数的是失败次数,不是重试次数

这是最容易读错的一个语义。backoffLimit: 6 表示最多允许 6 次失败,也就是说总共最多会创建 7 个 Pod。如果容器内还有自己的重试逻辑,真实请求量是 容器内重试次数 × Pod 数量,而不是你以为的 6 次。

重试间隔由 Job controller 做指数退避,起始间隔很短,逐次翻倍并封顶在分钟级。这意味着「失败得越多、打得越慢」,但只要有并发度,单位时间内的请求量仍然是放大的。

放大链路是怎么形成的

典型的三段式:

  1. 下游返回 429 或 503,Pod 以非零码退出,restartPolicy: OnFailure 让容器原地重启,同时 Job controller 也在统计失败次数。
  2. parallelism 被设成了 10 而 completions 是 100,于是任何一次抖动都会让 10 个 Pod 同时重试。
  3. sidecar 容器不退出,Pod 永远不进入 Completed,直到 activeDeadlineSeconds 到期才被强制终止,重复的活儿又被下一轮捡起来。

第一段是触发条件,第二段才是真正的放大器。很多事故复盘里写「重试太激进」,其实激进的是并发度。

还有一个隐性放大源:Job 由 CronJob 创建、上一轮没跑完而 concurrencyPolicy 又是默认的 Allow 时,两轮 Job 会同时在跑,重试压力直接翻倍。

一份能收敛的 Job 配置

apiVersion: batch/v1
kind: Job
metadata:
  name: nightly-sync
spec:
  backoffLimit: 2
  activeDeadlineSeconds: 1800
  parallelism: 2
  completions: 20
  completionMode: Indexed
  ttlSecondsAfterFinished: 86400
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sync
          image: registry.example.com/batch/sync:1.4.2
          env:
            - name: SHARD_INDEX
              value: '0'
          resources:
            requests:
              cpu: 200m
              memory: 256Mi

几个取值背后的理由:restartPolicy: Never 把重试完全交给 Job 层,避免容器内重启和 Job 重试叠加计数;parallelism 压到 2,让失败时的放大倍数可控;completionMode: Indexed 让每个 Pod 知道自己是第几片,配合分片拉取,重试不会重复处理同一批数据(该模式会向容器注入分片序号环境变量);activeDeadlineSeconds 是兜底,防止 sidecar 不退导致 Job 永远不结束。

CronJob 还要额外加一条,否则上一轮没跑完下一轮又开始:

spec:
  concurrencyPolicy: Forbid
  startingDeadlineSeconds: 300

重试要安全,前提是幂等

把重试次数调小只是减少伤害,真正的解是让重复执行不产生副作用:

  • 写入用业务唯一键做 upsert,而不是先查再插;
  • 用分片号 + 批次号构造幂等键,重试时命中同一条记录;
  • 长任务记录水位(处理到哪个 offset / 哪一天),重启后从水位继续;
  • 需要抢占的逻辑用分布式锁,锁的过期时间要大于单批处理耗时。

适用边界与常见坑

  • backoffLimit: 0 表示一次都不重试,适合「失败必须人工介入」的任务,别把它当成默认值。
  • 用 kubectl get pod -w 盯着 Pod 的创建频率,比事后数失败次数更早发现异常。
  • 只看 Job 的 status.failed 会漏掉容器内部重试造成的压力,监控要同时看 Pod 创建速率和下游的错误码分布。
  • ttlSecondsAfterFinished 依赖 TTL 控制器开启,集群没开的话配了也不生效,失败的 Pod 会一直堆着。
  • 把 activeDeadlineSeconds 设得比单批实际耗时还短,会表现为「任务永远失败但日志看不出原因」,部署前先量一遍 P99 耗时。
查看「容器与编排」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。