Nginx 报 worker_connections are not enough:连接数与文件描述符没对齐

error.log 里冒出 worker_connections 不够的报错,同时上游 502 增多。多数时候不是并发真超了,而是连接数与文件描述符两个上限没对齐。这篇讲清两者关系和调大之前该先排查什么。

error.log 里出现 worker_connections are not enough,紧接着是零星的 502 和 499,第一反应往往是「并发太高了要扩容」。但这条报错说的其实是一件更具体的事:某个 worker 进程想再打开一条连接,发现自己的额度用完了。

两个上限,一个管逻辑一个管物理

worker_connections 是每个 worker 进程能同时保持的连接数,注意是每个 worker,不是整个 Nginx。它统计的是这个进程打开的所有连接,包括与客户端的和与上游的。

文件描述符上限(nofile)是操作系统允许这个进程打开的文件句柄数。在 Linux 上连接也是 fd,所以它才是真正的物理天花板。两者关系是:worker_connections 是逻辑配额,nofile 是物理配额,前者不能超过后者,否则先撞的是 EMFILE(Too many open files),报错长得完全不一样。

反向代理场景还有一个关键点:一次请求占用两条连接——客户端那条和到上游那条。所以纯代理配置下的实际最大并发约等于 worker_processes × worker_connections ÷ 2。

举个量级的例子:4 个 worker、每个 20000 连接,理论并发在两万上下;但要真吃到这个量级,fd 上限必须开到明显高于两万,否则先撞的是 EMFILE,报错信息长得完全不一样。这就是两个数必须一起看的原因。

把配置和系统层对齐

worker_processes auto;
worker_rlimit_nofile 65535;

events {
    worker_connections 20000;
    multi_accept on;
    use epoll;
}

http {
    upstream backend {
        server 10.0.0.31:8080;
        server 10.0.0.32:8080;
        keepalive 64;
    }

    server {
        listen 80 backlog=4096;

        location / {
            proxy_pass http://backend;
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            proxy_connect_timeout 3s;
            proxy_read_timeout 30s;
        }
    }
}

worker_rlimit_nofile 是 Nginx 自己设的 fd 上限,它会去调 setrlimit;但进程启动时的硬限制如果更低,这个设置就无效。systemd 管理的服务要单独放开:

# /etc/systemd/system/nginx.service.d/limits.conf
[Service]
LimitNOFILE=65535

改完 systemctl daemon-reload && systemctl restart nginx,然后核对实际生效值:

cat /proc/$(pgrep -o nginx)/limits | grep -i 'open files'
ss -s
ss -tn state established '( sport = :80 )' | wc -l
nginx -T | grep -E 'worker_connections|worker_rlimit_nofile'

/proc/<pid>/limits 里如果还是 1024 或 65536 的旧值,说明 systemd 的 drop-in 没生效,这时无论 Nginx 配置写多大都没用。

改完记得先 nginx -t 再 nginx -s reload,不要直接 restart:reload 是平滑替换 worker,restart 会把现有连接全部断开,在流量高峰等于自伤一次。reload 之后新 fork 的 worker 才用新配置,老 worker 会等在途请求处理完再退出。

调大之前先排一遍是不是泄漏

ss -s 输出里重点看三行:总连接数、timewait 数量、closed 数量。如果 QPS 不高但 established 长期贴着上限,问题通常不在配额:

  • 上游 keepalive 没真正开启。上面配置里 proxy_http_version 1.1 和清空 Connection 头两个条件缺一不可,少一个都会退化成短连接,连接数随 QPS 线性上涨。
  • 客户端 keep-alive 超时设得过长,大量空闲连接占着配额不释放。
  • timewait 堆积。这是正常的 TCP 状态,但如果集中在少数几个源端口段,说明连接复用没做好。

判断方法很土但有效:把 ss -tn state established 的数量和同一时刻的 QPS 对一下,如果连接数是 QPS 的几十倍且长时间不回落到基线,基本可以确认复用没生效。

先修这些,再考虑调大数值。单纯把 worker_connections 从 1024 调到 20000,往往只是把「报错」推迟到流量更高的时刻。

适用边界与常见坑

  • worker_connections 调到超过 65535 意义有限,单进程 fd 上限受 nofile 与内核 fs.file-max 双重约束。
  • multi_accept on 在突发建连场景有帮助,低流量下收益有限,不必当成必选项。
  • backlog 太小会丢 SYN,表现为偶发的连接超时而不是 5xx,很容易被误判成上游慢。
  • 容器部署时 nofile 由容器 runtime 的 ulimits 决定,docker run --ulimit nofile= 或 compose 的 ulimits 字段要一起改,光改宿主机 sysctl 不生效。
  • 别忽略 worker_rlimit_nofile 与 systemd 的优先级关系:配置里写小了,会覆盖 systemd 给的大值。
查看「中间件」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

Nginx 报 worker_connections are not enough:连接数与文件描述符没对齐 - 起航社区