连接池 maxLifetime 长过 MySQL wait_timeout,空闲连接就会成批失效

报错里的「last packet received N milliseconds ago」是关键线索:连接不是被业务用死的,而是空闲时被服务端先关掉了。把连接池的 maxLifetime、keepaliveTime 与 MySQL 的 wait_timeout、中间设备的空闲回收对齐,才能根治这类间歇性断连。

业务低峰期报警,日志里一串 Communications link failure,后面跟着「The last packet successfully received from the server was 7,203,891 milliseconds ago」。白天同样的接口一切正常。这类报错基本是同一个原因:池子里的连接在空闲时被服务端关掉了,客户端并不知道。

一、连接是怎么「悄悄死掉」的

连接池借出连接时不会真的去 ping 一下(除非开了校验),它只把一条标记为 idle 的连接交出去。问题在于 MySQL 有 wait_timeout:一个非交互连接空闲超过这个秒数,服务端主动断开。断开时服务端发的是正常的 FIN,客户端内核收到后 socket 进入半关闭状态,但应用层的连接对象毫无感知。

于是下一次借出这条连接,第一条语句发出去,才拿到 Communications link failure,或者 JDBC 的 No operations allowed after connection closed。

二、先看谁的时钟先到

层 默认值 作用
MySQL wait_timeout 28800 秒(8 小时) 服务端断开空闲连接
HikariCP maxLifetime 1800000 毫秒(30 分钟) 客户端主动轮换连接
HikariCP idleTimeout 600000 毫秒(10 分钟) 淘汰空闲连接
云负载均衡空闲超时 常见 350 / 900 秒 中间设备静默丢连接

默认配置其实是安全的:池子 30 分钟就主动换掉连接,远早于服务端的 8 小时。真正出事的是三种改动:

  1. 有人把 maxLifetime 设成 0(不限制),以为「连接复用越久越好」;
  2. 运维为了省连接数,把 wait_timeout 从 8 小时调到 60 秒;
  3. 数据库前面加了一层负载均衡,空闲回收时间比谁都短。

第 3 种最容易误判成数据库问题。判断方法很简单:报错里那个「N milliseconds ago」的量级,如果稳定落在 300000 上下,那多半是 LB 的 350 秒,而不是 MySQL 的 60 秒。

三、确认是哪一层断的

SELECT @@global.wait_timeout, @@session.wait_timeout;
SHOW PROCESSLIST;

SHOW PROCESSLIST 里 Sleep 状态的连接,Time 列就是空闲秒数。如果线上 Sleep 连接的最大值明显小于 wait_timeout,说明还有别的东西在更早动手——去查负载均衡、NAT 网关,以及安全设备的会话表老化时间。

要拿到铁证就抓包,看 FIN 的方向:

sudo tcpdump -i any -n 'tcp port 3306 and (tcp[tcpflags] & tcp-fin != 0)'

服务端先发 FIN、客户端随后还在往这条连接写数据,就会看到一个 RST,这正是「借出死连接」的现场。

四、对齐三层的配置

Spring Boot 侧:

spring:
  datasource:
    hikari:
      max-lifetime: 1200000     # 20 分钟,留足余量小于服务端 wait_timeout
      keepalive-time: 300000    # 每 5 分钟对空闲连接做一次探活
      idle-timeout: 0           # 交给 max-lifetime 统一轮换,避免两套淘汰规则打架
      validation-timeout: 3000

MySQL 侧保持 wait_timeout 明显大于 max-lifetime,至少留 30 秒余量:

# my.cnf
wait_timeout = 28800
interactive_timeout = 28800

如果中间有负载均衡,把它的空闲超时也纳入计算,规则是「越靠近客户端的超时越短」,让池子永远先动手。

五、几个不要做的操作

  • 别开 autoReconnect=true。它只在语句失败之后重连,事务已经回滚、会话变量和临时表已经丢失,只是把错误从「连接失败」变成「数据对不上」。
  • 别用 SELECT 1 当万能探活。每次借出都 ping 会放大 RT,keepaliveTime 在空闲时探活更划算。
  • 别只调大 maximumPoolSize。连接越多,空闲连接越多,被服务端或 LB 回收的概率越高,问题反而更频繁。

适用边界

这套分析只对长连接池成立。短连接、无状态查询服务本来就用完即关,不存在空闲失效。另外 wait_timeout 只作用于非交互连接,用命令行客户端连上去查的参数是 interactive_timeout,两者别混。

排查顺序建议固定下来:先看报错里的空闲毫秒数落在哪一档 → 再对 SHOW PROCESSLIST 的 Sleep 时长 → 最后抓包确认 FIN 方向。三步之内基本能定位到具体是哪一层在关连接。

查看「数据库与缓存」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

连接池 maxLifetime 长过 MySQL wait_timeout,空闲连接就会成批失效 - 起航社区