容器 CPU limit 没跑满却周期性变慢:CFS 限流的排查路径
Pod 的 CPU 使用率只有三四十个百分点,接口 P99 却周期性抖动。本文拆解 CFS 单周期配额为什么会掐住线程,给出从 cgroup 读取 nr_throttled 的定位命令,以及调 limit、改 QoS、校准 JVM 处理器数三条修法。
Pod 的 CPU 使用率长期只有三四十个百分点,接口 P99 却每隔一百毫秒左右抖一次,日志里没有任何报错——这类「平均负载不高但周期性变慢」的现象,多数不是 GC,也不是下游抖动,而是容器被 CFS 限流了。
平均使用率不高,为什么还会被限流
容器 CPU limit 在 Linux 上落地为 cgroup 的 CFS 配额:内核把 CPU 时间切成固定长度的周期(默认 100ms),每个周期给容器一个可用配额。配额用完,这个周期内该 cgroup 里的所有线程都会被强制挂起,直到下个周期开始。
关键在于「单周期配额」而不是「平均速率」。limit 配 1 核,配额就是每 100ms 最多 100ms CPU 时间;只要有一个 100ms 窗口内出现多线程并行计算(一次批量反序列化、一轮并发下游回调),几个线程合起来吃掉配额,后面几十毫秒就全被掐住。按秒平均统计,使用率可能只有 0.4 核,但抖动已经发生了。
JVM 应用对这件事格外敏感:JVM 看到的可用处理器数量如果比 limit 大,GC 线程、JIT 编译线程、ForkJoinPool 的并行度都会按物理核数开,瞬间把单周期配额打满。
从 cgroup 里拿到证据
先确认配额,再读限流计数。cgroup v2 下 cpu.max 的两个字段分别是 quota 和 period。
# cgroup v2:第一个字段是 max 表示没设 limit
kubectl exec -it <pod> -- cat /sys/fs/cgroup/cpu.max
kubectl exec -it <pod> -- cat /sys/fs/cgroup/cpu.stat
cpu.max 输出形如 200000 100000,意思是每 100ms 最多 200ms CPU 时间,即 2 核;cgroup v1 的对应文件是 cpu.cfs_quota_us 与 cpu.cfs_period_us。cpu.stat 里的 nr_throttled 是被掐的次数,throttled_usec 是累计被掐时长,两者在容器生命周期内单调递增,要观察增量而不是总量。
接了 Prometheus 的话,直接看 container_cpu_cfs_throttled_periods_total 与 container_cpu_cfs_periods_total 的比值:连续多个采集周期都不为零,基本可以定性。
怎么改才不引入新问题
三条路,按代价从低到高:
- 把 limit 抬到「一个周期内容得下峰值」,按峰值并发估算,而不是平均使用率乘个系数。
- requests 与 limit 设成相等,拿到 Guaranteed QoS,调度器按峰值预留资源,节点上不会有别的 Pod 来抢。
- 让运行时正确感知 limit:JDK 10 之后 UseContainerSupport 默认开启,会按 cgroup 配额计算可用处理器;但如果镜像里显式写了 ActiveProcessorCount,或者 limit 是小数核,仍要自己校准。
纯 IO 密集型服务被限流的概率很低,线程大部分时间在等;序列化、压缩、加解密、正则回溯这类 CPU 密集代码最容易被掐。
适用边界与常见坑
- nr_throttled 不为零不等于有问题。短促的限流只要没落在关键路径上,对延迟没有可观测影响。判断标准是限流时刻是否与 P99 抖动在时间上对得上。
- 别把 limit 当保险丝随手设得很小。「防止一个 Pod 打爆节点」应该靠 requests 做调度隔离,limit 设得过小只会让正常业务自我限流。
- 调大 limit 后要回归峰值场景。有些抖动原本是被限流掩盖了下游超时,放开限流反而把压力直接打到数据库。
- 多容器 Pod(sidecar 注入)要看清是哪个容器被限流,指标必须带 container 维度看。
正在加载评论…