Pod 被 Evicted,describe 里却找不到 OOM:ephemeral-storage 的账
Pod 突然变成 Evicted,退出码是 0,describe 里没有 OOMKilled,只有一行「node was low on resource」。这篇按 ephemeral-storage 的构成拆开算账:谁吃掉了节点磁盘、怎么定位到具体目录、requests/limits 与 emptyDir sizeLimit 该怎么配。
Pod 变成 Evicted,kubectl describe 里没有 OOMKilled,容器退出码还是 0,真正的信号只藏在 Events 里那一行:The node was low on resource: ephemeral-storage。这不是内存问题,是磁盘。
Evicted 和 OOMKilled 是两条完全不同的路径
OOMKilled 来自内核 OOM killer,触发条件是容器的 memory limit 被突破,退出码 137。Evicted 来自 kubelet 自己的驱逐逻辑:它周期性检查节点的资源水位,一旦低于 evictionHard 或 evictionSoft 里定义的阈值,就挑最「超标」的 Pod 赶走。
所以 Exit Code 0 一点都不奇怪——容器是被正常终止的,应用根本没崩。看到 0 就该立刻停止往内存方向查。
默认配置里 nodefs.available 的硬阈值是 10%,但托管集群、运维团队经常改过这个值,一定要以 kubectl describe node 里显示的实际情况为准。
ephemeral-storage 到底包含什么
节点侧的可写存储大致是这几块:容器的可写层、容器日志、emptyDir 卷、/var/lib/kubelet 下的卷目录,以及镜像层(部分发行版把 imagefs 单独统计)。
最常见的三个源头是:应用往 stdout 疯狂打日志而运行时没做轮转;把 emptyDir 当缓存目录用却不设 sizeLimit;反复崩溃重启留下的旧容器日志堆在节点上。
还有一类隐形的:某个进程还持有已经 unlink 的文件句柄,df 上看不出占用,空间却没释放。
定位顺序
先确认驱逐原因和节点水位,再追到具体目录:
kubectl get pod <pod> -o jsonpath='{.status.reason}{"\n"}{.status.message}{"\n"}'
kubectl get events -A --field-selector reason=Evicted --sort-by=.lastTimestamp | tail -20
kubectl describe node <node> | grep -A8 "Allocated resources"
# 到节点上按目录排,需要提权的命令自行加 sudo
df -h /var/lib/kubelet /var/log
du -x -h --max-depth=1 /var/lib/kubelet | sort -h | tail
lsof +L1 2>/dev/null | sort -k7 -n | tail
du 加 -x 是为了不跨挂载点,否则统计会被其他盘带偏;lsof +L1 列出被删除但仍被占用的文件,专门用来找那类 df 看不见的洞。
配置侧该补的三处
给 Pod 声明存储用量,让调度器知道这台机器还能塞多少;给 emptyDir 加 sizeLimit,超限时写入会拿到 ENOSPC 而不是把整台机器拖死;把日志轮转交给运行时,应用侧再兜一层。
resources:
requests:
ephemeral-storage: 1Gi
limits:
ephemeral-storage: 2Gi
volumeMounts:
- name: cache
mountPath: /app/cache
volumes:
- name: cache
emptyDir:
sizeLimit: 500Mi
limit 超了之后 Pod 会被驱逐,不会立刻 kill,所以表现为「过一会儿就没了」,日志里可能只有一行。
适用边界与常见坑
- limits.ephemeral-storage 设得比实际峰值小,会变成周期性驱逐,看起来像应用不稳,其实是配置问题。
- emptyDir 的 sizeLimit 触发的是卷级 ENOSPC,和节点级驱逐是两条路径,别混着查。
- cadvisor 的存储指标有采样延迟,告警阈值要留出余量,不要贴着驱逐线设。
- 同一节点上多个 Pod 共享配额,抓单 Pod 不一定能看出问题,得看节点维度。
- 如果事件里写的是 memory.available,那就是内存压力驱逐,跟磁盘无关,方向要换。
正在加载评论…