Pod 一直卡在 Terminating:finalizer 与卷卸载的排查顺序

kubectl delete 之后 Pod 卡在 Terminating 十几分钟不消失,多数不是 kubelet 挂了,而是 finalizer 没摘掉或卷没卸载完。这篇给出从对象字段到节点挂载点的排查顺序,以及强制清理前必须确认的事。

kubectl delete pod 回车之后,Pod 状态停在 Terminating 十几分钟甚至一整天不消失,绝大多数情况不是 kubelet 死了,而是 Pod 上的 finalizer 没被摘掉,或者节点侧的卷还没卸载完。搞错顺序去强制删除,往往会把问题从「删得慢」升级成「同名 Pod 起不来」。

先分清是「删不掉」还是「还没删完」

第一件事不是看状态,而是看对象上的两个字段:deletionTimestamp 和 finalizers。前者说明删除请求已被接受,后者说明还有谁在拦着不让对象真正消失。

kubectl get pod web-0 -n prod -o json | jq '{
  deleting: .metadata.deletionTimestamp,
  finalizers: .metadata.finalizers,
  node: .spec.nodeName
}'

如果 finalizers 里只有 kubernetes.io/pv-protection,说明是存储侧在等(往下看第二节);如果出现的是自定义域名形式的 finalizer,比如 example.com/cleanup,那基本可以确定对应的 controller 已经不工作了——它不摘,对象就永远不会消失。

还有一种容易被忽略的情况:Pod 已经不在节点上了,但 kubectl describe 里看不到任何 Event。这说明 kubelet 早就处理完,剩下的纯粹是控制面在等 finalizer。

反过来,如果 describe 里持续刷 FailedMount 或 FailedUnmount 这类事件,方向就转到存储和节点侧,而不是控制面。两类现象的处理路径完全不同,先分清能省掉一大半时间。

pv-protection 卡住:卷还被谁引用

pv-protection 这个 finalizer 由 kube-controller-manager 里的保护控制器摘除,它的判断条件很朴素:PV 还有没有被任何 Pod 引用。只要还有一个 Pod 对象(哪怕是正在 Terminating 的那个)挂在这个 PVC 上,它就不动。

排查顺序是 PV → VolumeAttachment → 节点挂载点:

kubectl get pvc data-web-0 -n prod -o jsonpath='{.spec.volumeName}{"\n"}'
kubectl get volumeattachment | grep pv-prod-data-web-0
kubectl describe volumeattachment <attachment-name>

VolumeAttachment 上如果一直带着 attached: true 而节点侧早就没了容器,通常是 CSI 驱动的 detach 调用失败或者超时。这时候去对应节点上看挂载点是否残留:

findmnt -T /var/lib/kubelet/pods/<pod-uid>/volumes
mount | grep pv-prod-data-web-0
journalctl -u kubelet --since '30 min ago' | grep -iE 'unmount|volume|attach'

device is busy 是最常见的字样,含义是还有进程在引用这个挂载点。StatefulSet 缩容同时扩容、新 Pod 被调度到另一台节点时,attach/detach 是串行执行的,这条链路一堵就是十几分钟起步。

强制清理的正确顺序

确认数据已经落盘、业务已经摘流量之后,才考虑手工摘 finalizer:

kubectl scale statefulset web -n prod --replicas=0
kubectl patch pod web-0 -n prod --type=merge -p '{"metadata":{"finalizers":null}}'

先缩容再 patch 是关键。如果上来就 patch 单个 Pod,StatefulSet 会立刻重建同名 Pod,而旧的挂载点还没释放,新 Pod 就会卡在 ContainerCreating 并报 device busy——问题反而更难查。

如果节点已经失联(长时间 NotReady),控制面可能根本联系不上 kubelet,这时 patch finalizer 是唯一手段;但要在节点恢复后补做一次清理,否则残留的容器和挂载点会一直占着资源。

kubectl delete pod --force --grace-period=0 要格外谨慎:它只是把对象从 etcd 里摘掉,节点上的容器和挂载点仍然残留,kubelet 之后才慢慢回收。对于挂了持久卷的有状态负载,这条命令几乎总是帮倒忙。

适用边界与常见坑

  • 无状态 Deployment 的 Pod 卡 Terminating,优先怀疑节点失联(NotReady)而不是 finalizer,kubectl get node 先扫一遍。
  • 别用 kubectl replace --raw 直接调 finalize 子资源,跳过准入和审计,出问题时没有任何记录。
  • finalizer 被摘掉不等于卷已安全卸载,如果 PV 是 ReadWriteOnce 且底层是本地盘,先确认宿主机上 lsof 没有残留句柄。
  • 长期方案是把 terminationGracePeriodSeconds 和应用的实际退出时间对齐,并确保 CSI 驱动的 attach/detach controller 健康,靠人工 patch 只能救一次。
查看「容器与编排」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

Pod 一直卡在 Terminating:finalizer 与卷卸载的排查顺序 - 起航社区