Pod 被 Evicted,describe 里却找不到 OOM:ephemeral-storage 的账

Pod 突然变成 Evicted,退出码是 0,describe 里没有 OOMKilled,只有一行「node was low on resource」。这篇按 ephemeral-storage 的构成拆开算账:谁吃掉了节点磁盘、怎么定位到具体目录、requests/limits 与 emptyDir sizeLimit 该怎么配。

Pod 变成 Evicted,kubectl describe 里没有 OOMKilled,容器退出码还是 0,真正的信号只藏在 Events 里那一行:The node was low on resource: ephemeral-storage。这不是内存问题,是磁盘。

Evicted 和 OOMKilled 是两条完全不同的路径

OOMKilled 来自内核 OOM killer,触发条件是容器的 memory limit 被突破,退出码 137。Evicted 来自 kubelet 自己的驱逐逻辑:它周期性检查节点的资源水位,一旦低于 evictionHard 或 evictionSoft 里定义的阈值,就挑最「超标」的 Pod 赶走。

所以 Exit Code 0 一点都不奇怪——容器是被正常终止的,应用根本没崩。看到 0 就该立刻停止往内存方向查。

默认配置里 nodefs.available 的硬阈值是 10%,但托管集群、运维团队经常改过这个值,一定要以 kubectl describe node 里显示的实际情况为准。

ephemeral-storage 到底包含什么

节点侧的可写存储大致是这几块:容器的可写层、容器日志、emptyDir 卷、/var/lib/kubelet 下的卷目录,以及镜像层(部分发行版把 imagefs 单独统计)。

最常见的三个源头是:应用往 stdout 疯狂打日志而运行时没做轮转;把 emptyDir 当缓存目录用却不设 sizeLimit;反复崩溃重启留下的旧容器日志堆在节点上。

还有一类隐形的:某个进程还持有已经 unlink 的文件句柄,df 上看不出占用,空间却没释放。

定位顺序

先确认驱逐原因和节点水位,再追到具体目录:

kubectl get pod <pod> -o jsonpath='{.status.reason}{"\n"}{.status.message}{"\n"}'
kubectl get events -A --field-selector reason=Evicted --sort-by=.lastTimestamp | tail -20
kubectl describe node <node> | grep -A8 "Allocated resources"

# 到节点上按目录排,需要提权的命令自行加 sudo
df -h /var/lib/kubelet /var/log
du -x -h --max-depth=1 /var/lib/kubelet | sort -h | tail
lsof +L1 2>/dev/null | sort -k7 -n | tail

du 加 -x 是为了不跨挂载点,否则统计会被其他盘带偏;lsof +L1 列出被删除但仍被占用的文件,专门用来找那类 df 看不见的洞。

配置侧该补的三处

给 Pod 声明存储用量,让调度器知道这台机器还能塞多少;给 emptyDir 加 sizeLimit,超限时写入会拿到 ENOSPC 而不是把整台机器拖死;把日志轮转交给运行时,应用侧再兜一层。

resources:
  requests:
    ephemeral-storage: 1Gi
  limits:
    ephemeral-storage: 2Gi
volumeMounts:
  - name: cache
    mountPath: /app/cache
volumes:
  - name: cache
    emptyDir:
      sizeLimit: 500Mi

limit 超了之后 Pod 会被驱逐,不会立刻 kill,所以表现为「过一会儿就没了」,日志里可能只有一行。

适用边界与常见坑

  • limits.ephemeral-storage 设得比实际峰值小,会变成周期性驱逐,看起来像应用不稳,其实是配置问题。
  • emptyDir 的 sizeLimit 触发的是卷级 ENOSPC,和节点级驱逐是两条路径,别混着查。
  • cadvisor 的存储指标有采样延迟,告警阈值要留出余量,不要贴着驱逐线设。
  • 同一节点上多个 Pod 共享配额,抓单 Pod 不一定能看出问题,得看节点维度。
  • 如果事件里写的是 memory.available,那就是内存压力驱逐,跟磁盘无关,方向要换。
查看「容器与编排」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

Pod 被 Evicted,describe 里却找不到 OOM:ephemeral-storage 的账 - 起航社区