Redis 主从切换后写请求报 READONLY:连接池没有跟着换主
哨兵把主库切走了,应用却还在往降级成从库的旧节点写,报 READONLY 只读错误。这篇解释切换后旧连接为何仍然可用、如何确认连接实际打到哪台,以及客户端该怎么刷新拓扑。
哨兵日志里明明白白写着 +switch-master,主库已经从 A 切到 B,应用却开始刷 READONLY You can't write against a read only replica。原因不复杂:连接池里的连接是 TCP 长连接,Redis 角色变了,连接本身不会断。
为什么切换后连接池还在写旧节点
客户端连的是 IP:PORT,不是「主库」这个概念。主从切换只是让 A 降级成从库、B 升为主库,A 上那条已经建立的连接依然健在,命令发过去照样有响应,只是写命令被 replica-read-only 挡了下来。
三种情况会让这个问题持续存在:
- 客户端用的是直连地址而不是哨兵/集群拓扑,压根发现不了变化;
- 客户端配了哨兵,但到哨兵的 pub/sub 通道不通(网络策略、安全组、哨兵端口没开),收不到
+switch-master事件; - 客户端确实收到了事件,但连接池没有失效旧连接,
maxIdle里躺着的空闲连接在切换后被复用。
第三种最常见,也最隐蔽——因为故障恢复后的一段时间里,只有零星请求会命中那些旧连接,表现为错误率拖出一条缓慢衰减的尾巴,而不是切换瞬间的尖峰。
先确认连接到底打到了哪台
不要只看配置,看实际连接:
redis-cli -h 10.0.0.11 -p 6379 role
redis-cli -h 10.0.0.11 -p 6379 info replication | head -12
redis-cli -h sentinel1 -p 26379 sentinel get-master-addr-by-name mymaster
role 返回 master 还是 slave 一目了然。再到应用侧看它连的是谁:
ss -tnp | grep 6379
如果应用进程连着的仍是旧主库的 IP,而哨兵已经指向新地址,问题就锁定了。顺带看一眼哨兵的 +sdown/+odown 记录和 sentinel.conf 的 down-after-milliseconds,判断这次切换是正常故障转移还是误判。
让客户端真正跟上切换
正确姿势有三个要素:接哨兵、开自动重连、遇到只读错误时刷新拓扑。
RedisURI uri = RedisURI.builder()
.withSentinel("10.0.0.21", 26379)
.withSentinel("10.0.0.22", 26379)
.withSentinel("10.0.0.23", 26379)
.withSentinelMasterId("mymaster")
.withTimeout(Duration.ofSeconds(2))
.build();
RedisClient client = RedisClient.create(uri);
client.setOptions(ClientOptions.builder()
.autoReconnect(true)
.disconnectedBehavior(ClientOptions.DisconnectedBehavior.REJECT_COMMANDS)
.build());
REJECT_COMMANDS 让连接断开期间直接快速失败,而不是在队列里堆积——切换窗口里堆积的请求,恢复后往往变成一波打不上主库的无效写入。
单靠 testOnBorrow 是不够的:它只发一个 PING,从库也会回 PONG。要判断角色,得看命令的返回:
public <T> T writeWithFailover(Supplier<T> op) {
try {
return op.get();
} catch (RedisSystemException e) {
String msg = String.valueOf(e.getMessage());
if (msg.contains("READONLY")) {
// 触发一次拓扑刷新后重试,仅限幂等写
connection.refreshTopology();
return op.get();
}
throw e;
}
}
重试只对幂等写开放,INCR、LPUSH 这类非幂等操作重试会造成重复累加——切换窗口的对账成本比一次报错高得多。
别把只读保护关掉
看到 READONLY 的第一反应不能是「把 replica-read-only 改成 no」。这个参数默认开启,正是为了防止从库被写入造成主从数据分叉。关掉它,切换窗口里会出现双写,之后合并数据的代价远超这几十秒的写入失败。
适用边界与常见坑
- 切换前已经写入旧主但未同步的命令会丢失,业务侧需要按时间窗口对账,这不是客户端能解决的。
- 连接池的
maxWait设得过小,会把切换窗口放大成业务雪崩:请求快速失败、上层重试、再失败,形成正反馈。切换场景下宁可让等待稍长一点。 - Cluster 模式的
MOVED/ASK重定向是另一类问题,别和 READONLY 混为一谈,两者的处理路径完全不同。 - 每次演练都验证一遍:手动
sentinel failover之后观察应用错误率曲线,比写在文档里的预案可靠。
正在加载评论…