连接池 maxLifetime 长过 MySQL wait_timeout,空闲连接就会成批失效
报错里的「last packet received N milliseconds ago」是关键线索:连接不是被业务用死的,而是空闲时被服务端先关掉了。把连接池的 maxLifetime、keepaliveTime 与 MySQL 的 wait_timeout、中间设备的空闲回收对齐,才能根治这类间歇性断连。
业务低峰期报警,日志里一串 Communications link failure,后面跟着「The last packet successfully received from the server was 7,203,891 milliseconds ago」。白天同样的接口一切正常。这类报错基本是同一个原因:池子里的连接在空闲时被服务端关掉了,客户端并不知道。
一、连接是怎么「悄悄死掉」的
连接池借出连接时不会真的去 ping 一下(除非开了校验),它只把一条标记为 idle 的连接交出去。问题在于 MySQL 有 wait_timeout:一个非交互连接空闲超过这个秒数,服务端主动断开。断开时服务端发的是正常的 FIN,客户端内核收到后 socket 进入半关闭状态,但应用层的连接对象毫无感知。
于是下一次借出这条连接,第一条语句发出去,才拿到 Communications link failure,或者 JDBC 的 No operations allowed after connection closed。
二、先看谁的时钟先到
| 层 | 默认值 | 作用 |
|---|---|---|
MySQL wait_timeout |
28800 秒(8 小时) | 服务端断开空闲连接 |
HikariCP maxLifetime |
1800000 毫秒(30 分钟) | 客户端主动轮换连接 |
HikariCP idleTimeout |
600000 毫秒(10 分钟) | 淘汰空闲连接 |
| 云负载均衡空闲超时 | 常见 350 / 900 秒 | 中间设备静默丢连接 |
默认配置其实是安全的:池子 30 分钟就主动换掉连接,远早于服务端的 8 小时。真正出事的是三种改动:
- 有人把
maxLifetime设成0(不限制),以为「连接复用越久越好」; - 运维为了省连接数,把
wait_timeout从 8 小时调到 60 秒; - 数据库前面加了一层负载均衡,空闲回收时间比谁都短。
第 3 种最容易误判成数据库问题。判断方法很简单:报错里那个「N milliseconds ago」的量级,如果稳定落在 300000 上下,那多半是 LB 的 350 秒,而不是 MySQL 的 60 秒。
三、确认是哪一层断的
SELECT @@global.wait_timeout, @@session.wait_timeout;
SHOW PROCESSLIST;
SHOW PROCESSLIST 里 Sleep 状态的连接,Time 列就是空闲秒数。如果线上 Sleep 连接的最大值明显小于 wait_timeout,说明还有别的东西在更早动手——去查负载均衡、NAT 网关,以及安全设备的会话表老化时间。
要拿到铁证就抓包,看 FIN 的方向:
sudo tcpdump -i any -n 'tcp port 3306 and (tcp[tcpflags] & tcp-fin != 0)'
服务端先发 FIN、客户端随后还在往这条连接写数据,就会看到一个 RST,这正是「借出死连接」的现场。
四、对齐三层的配置
Spring Boot 侧:
spring:
datasource:
hikari:
max-lifetime: 1200000 # 20 分钟,留足余量小于服务端 wait_timeout
keepalive-time: 300000 # 每 5 分钟对空闲连接做一次探活
idle-timeout: 0 # 交给 max-lifetime 统一轮换,避免两套淘汰规则打架
validation-timeout: 3000
MySQL 侧保持 wait_timeout 明显大于 max-lifetime,至少留 30 秒余量:
# my.cnf
wait_timeout = 28800
interactive_timeout = 28800
如果中间有负载均衡,把它的空闲超时也纳入计算,规则是「越靠近客户端的超时越短」,让池子永远先动手。
五、几个不要做的操作
- 别开
autoReconnect=true。它只在语句失败之后重连,事务已经回滚、会话变量和临时表已经丢失,只是把错误从「连接失败」变成「数据对不上」。 - 别用
SELECT 1当万能探活。每次借出都 ping 会放大 RT,keepaliveTime在空闲时探活更划算。 - 别只调大
maximumPoolSize。连接越多,空闲连接越多,被服务端或 LB 回收的概率越高,问题反而更频繁。
适用边界
这套分析只对长连接池成立。短连接、无状态查询服务本来就用完即关,不存在空闲失效。另外 wait_timeout 只作用于非交互连接,用命令行客户端连上去查的参数是 interactive_timeout,两者别混。
排查顺序建议固定下来:先看报错里的空闲毫秒数落在哪一档 → 再对 SHOW PROCESSLIST 的 Sleep 时长 → 最后抓包确认 FIN 方向。三步之内基本能定位到具体是哪一层在关连接。
正在加载评论…