Nginx 报 worker_connections are not enough:连接数与文件描述符没对齐
error.log 里冒出 worker_connections 不够的报错,同时上游 502 增多。多数时候不是并发真超了,而是连接数与文件描述符两个上限没对齐。这篇讲清两者关系和调大之前该先排查什么。
error.log 里出现 worker_connections are not enough,紧接着是零星的 502 和 499,第一反应往往是「并发太高了要扩容」。但这条报错说的其实是一件更具体的事:某个 worker 进程想再打开一条连接,发现自己的额度用完了。
两个上限,一个管逻辑一个管物理
worker_connections 是每个 worker 进程能同时保持的连接数,注意是每个 worker,不是整个 Nginx。它统计的是这个进程打开的所有连接,包括与客户端的和与上游的。
文件描述符上限(nofile)是操作系统允许这个进程打开的文件句柄数。在 Linux 上连接也是 fd,所以它才是真正的物理天花板。两者关系是:worker_connections 是逻辑配额,nofile 是物理配额,前者不能超过后者,否则先撞的是 EMFILE(Too many open files),报错长得完全不一样。
反向代理场景还有一个关键点:一次请求占用两条连接——客户端那条和到上游那条。所以纯代理配置下的实际最大并发约等于 worker_processes × worker_connections ÷ 2。
举个量级的例子:4 个 worker、每个 20000 连接,理论并发在两万上下;但要真吃到这个量级,fd 上限必须开到明显高于两万,否则先撞的是 EMFILE,报错信息长得完全不一样。这就是两个数必须一起看的原因。
把配置和系统层对齐
worker_processes auto;
worker_rlimit_nofile 65535;
events {
worker_connections 20000;
multi_accept on;
use epoll;
}
http {
upstream backend {
server 10.0.0.31:8080;
server 10.0.0.32:8080;
keepalive 64;
}
server {
listen 80 backlog=4096;
location / {
proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_connect_timeout 3s;
proxy_read_timeout 30s;
}
}
}
worker_rlimit_nofile 是 Nginx 自己设的 fd 上限,它会去调 setrlimit;但进程启动时的硬限制如果更低,这个设置就无效。systemd 管理的服务要单独放开:
# /etc/systemd/system/nginx.service.d/limits.conf
[Service]
LimitNOFILE=65535
改完 systemctl daemon-reload && systemctl restart nginx,然后核对实际生效值:
cat /proc/$(pgrep -o nginx)/limits | grep -i 'open files'
ss -s
ss -tn state established '( sport = :80 )' | wc -l
nginx -T | grep -E 'worker_connections|worker_rlimit_nofile'
/proc/<pid>/limits 里如果还是 1024 或 65536 的旧值,说明 systemd 的 drop-in 没生效,这时无论 Nginx 配置写多大都没用。
改完记得先 nginx -t 再 nginx -s reload,不要直接 restart:reload 是平滑替换 worker,restart 会把现有连接全部断开,在流量高峰等于自伤一次。reload 之后新 fork 的 worker 才用新配置,老 worker 会等在途请求处理完再退出。
调大之前先排一遍是不是泄漏
ss -s 输出里重点看三行:总连接数、timewait 数量、closed 数量。如果 QPS 不高但 established 长期贴着上限,问题通常不在配额:
- 上游 keepalive 没真正开启。上面配置里
proxy_http_version 1.1和清空Connection头两个条件缺一不可,少一个都会退化成短连接,连接数随 QPS 线性上涨。 - 客户端 keep-alive 超时设得过长,大量空闲连接占着配额不释放。
timewait堆积。这是正常的 TCP 状态,但如果集中在少数几个源端口段,说明连接复用没做好。
判断方法很土但有效:把 ss -tn state established 的数量和同一时刻的 QPS 对一下,如果连接数是 QPS 的几十倍且长时间不回落到基线,基本可以确认复用没生效。
先修这些,再考虑调大数值。单纯把 worker_connections 从 1024 调到 20000,往往只是把「报错」推迟到流量更高的时刻。
适用边界与常见坑
worker_connections调到超过 65535 意义有限,单进程 fd 上限受nofile与内核fs.file-max双重约束。multi_accept on在突发建连场景有帮助,低流量下收益有限,不必当成必选项。backlog太小会丢 SYN,表现为偶发的连接超时而不是 5xx,很容易被误判成上游慢。- 容器部署时
nofile由容器 runtime 的 ulimits 决定,docker run --ulimit nofile=或 compose 的ulimits字段要一起改,光改宿主机 sysctl 不生效。 - 别忽略
worker_rlimit_nofile与 systemd 的优先级关系:配置里写小了,会覆盖 systemd 给的大值。
正在加载评论…