容器里堆按宿主机算:limit 2Gi 的 Pod 被 OOMKilled 的常见原因
同一个 jar 在虚机上跑得好好的,进了 limit 2Gi 的 Pod 就被杀,退出码 137 却拿不到堆 dump——杀它的是内核不是 JVM。这篇讲容器感知、MaxRAMPercentage 与 -Xmx 的优先级,以及堆外内存那笔容易被忽略的账。
同一个 jar,虚机上跑了半年没事,进 limit 2Gi 的 Pod 之后隔三差五 137,还拿不到堆 dump。因为杀它的是内核,不是 JVM——JVM 根本没觉得自己越界。
JVM 读的是 cgroup,不是 free -g
早期 JVM 只看 /proc/meminfo,于是容器里它以为整台宿主机都是自己的,默认堆按宿主机内存的 1/4 算,轻松超过 limit,然后被内核一刀切掉。
后续版本引入了容器感知,JDK 10 起默认开启,JDK 8 的后期更新也把这个能力回移了。开启后 JVM 会读 cgroup 的 memory limit,默认堆上限是 limit 的 25%,可用 -XX:MaxRAMPercentage 调整。
一个高频误区:同时写了 -Xmx2g 和 -XX:MaxRAMPercentage=75。显式 -Xmx 优先级更高,MaxRAMPercentage 只影响没被显式指定的部分,两者不会取最小值。
那 25% 之外的空间去哪了
limit 是给整个进程组的,不只是堆。堆之外至少还有这些:
- Metaspace 与 CodeCache:类加载多、动态代理多的应用,Metaspace 涨到几百 MB 很常见;
- 线程栈:每个线程默认预留 1 MB 地址空间,几百个线程就是几百 MB;
- 直接内存:Netty、文件映射、NIO 都会用,堆 dump 里完全看不到;
- GC 自身结构:G1 的记忆集、卡表在堆大的时候不可忽略;
- JVM 运行时本身与 JNI 分配的本地内存。
所以 limit 2Gi、堆开到 1.6Gi 时,剩下 400 MB 很容易被 Netty 和线程栈一起吃穿。
先验证 JVM 以为的限额是多少
不要凭经验调参,先看它读到了什么:
kubectl exec <pod> -- java -XX:+PrintFlagsFinal -version 2>/dev/null \\
| grep -E "MaxHeapSize|MaxRAMPercentage|UseContainerSupport|MaxDirectMemorySize"
kubectl exec <pod> -- jcmd 1 VM.flags
kubectl exec <pod> -- cat /sys/fs/cgroup/memory.max
# cgroup v1 的路径是 /sys/fs/cgroup/memory/memory.limit_in_bytes
如果 UseContainerSupport 是 false,或者 MaxHeapSize 明显大于 limit,病因就确定了。
一套可用的起步参数
-XX:MaxRAMPercentage=60
-XX:InitialRAMPercentage=60
-XX:MaxMetaspaceSize=256m
-XX:MaxDirectMemorySize=256m
-XX:+ExitOnOutOfMemoryError
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/dump
留 40% 给非堆是偏保守的起点。堆占得太满,GC 压力大但至少不会突然消失;堆占得太少,非堆一涨就撞 limit。Xms 和 Xmx 取同一个百分比,避免运行期扩容抖动。
适用边界与常见坑
- ExitOnOutOfMemoryError 让 JVM 在堆 OOM 时主动退出,配合 restartPolicy 反而比半死不活好排查,但会放大重启次数。
- 137 不一定是 OOMKilled:节点内存压力驱逐的 Pod 也可能表现类似,先看 Events 里的 reason 再改参数。
- request 远小于 limit 时,节点超卖,堆外内存仍然可能撞到 limit,把 request 和 limit 设为一致更稳。
- 老版本 JDK 需要额外开关才能读 cgroup,升级镜像之前别急着改参数,先确认版本能力。
- 容器里 ulimit 与 -Xss 不匹配时,创建线程会直接抛 OutOfMemoryError: unable to create native thread,这个和堆大小无关。
正在加载评论…