Redis 主从切换后写请求报 READONLY:连接池没有跟着换主

哨兵把主库切走了,应用却还在往降级成从库的旧节点写,报 READONLY 只读错误。这篇解释切换后旧连接为何仍然可用、如何确认连接实际打到哪台,以及客户端该怎么刷新拓扑。

哨兵日志里明明白白写着 +switch-master,主库已经从 A 切到 B,应用却开始刷 READONLY You can't write against a read only replica。原因不复杂:连接池里的连接是 TCP 长连接,Redis 角色变了,连接本身不会断。

为什么切换后连接池还在写旧节点

客户端连的是 IP:PORT,不是「主库」这个概念。主从切换只是让 A 降级成从库、B 升为主库,A 上那条已经建立的连接依然健在,命令发过去照样有响应,只是写命令被 replica-read-only 挡了下来。

三种情况会让这个问题持续存在:

  1. 客户端用的是直连地址而不是哨兵/集群拓扑,压根发现不了变化;
  2. 客户端配了哨兵,但到哨兵的 pub/sub 通道不通(网络策略、安全组、哨兵端口没开),收不到 +switch-master 事件;
  3. 客户端确实收到了事件,但连接池没有失效旧连接,maxIdle 里躺着的空闲连接在切换后被复用。

第三种最常见,也最隐蔽——因为故障恢复后的一段时间里,只有零星请求会命中那些旧连接,表现为错误率拖出一条缓慢衰减的尾巴,而不是切换瞬间的尖峰。

先确认连接到底打到了哪台

不要只看配置,看实际连接:

redis-cli -h 10.0.0.11 -p 6379 role
redis-cli -h 10.0.0.11 -p 6379 info replication | head -12
redis-cli -h sentinel1 -p 26379 sentinel get-master-addr-by-name mymaster

role 返回 master 还是 slave 一目了然。再到应用侧看它连的是谁:

ss -tnp | grep 6379

如果应用进程连着的仍是旧主库的 IP,而哨兵已经指向新地址,问题就锁定了。顺带看一眼哨兵的 +sdown/+odown 记录和 sentinel.conf 的 down-after-milliseconds,判断这次切换是正常故障转移还是误判。

让客户端真正跟上切换

正确姿势有三个要素:接哨兵、开自动重连、遇到只读错误时刷新拓扑。

RedisURI uri = RedisURI.builder()
    .withSentinel("10.0.0.21", 26379)
    .withSentinel("10.0.0.22", 26379)
    .withSentinel("10.0.0.23", 26379)
    .withSentinelMasterId("mymaster")
    .withTimeout(Duration.ofSeconds(2))
    .build();

RedisClient client = RedisClient.create(uri);
client.setOptions(ClientOptions.builder()
    .autoReconnect(true)
    .disconnectedBehavior(ClientOptions.DisconnectedBehavior.REJECT_COMMANDS)
    .build());

REJECT_COMMANDS 让连接断开期间直接快速失败,而不是在队列里堆积——切换窗口里堆积的请求,恢复后往往变成一波打不上主库的无效写入。

单靠 testOnBorrow 是不够的:它只发一个 PING,从库也会回 PONG。要判断角色,得看命令的返回:

public <T> T writeWithFailover(Supplier<T> op) {
    try {
        return op.get();
    } catch (RedisSystemException e) {
        String msg = String.valueOf(e.getMessage());
        if (msg.contains("READONLY")) {
            // 触发一次拓扑刷新后重试,仅限幂等写
            connection.refreshTopology();
            return op.get();
        }
        throw e;
    }
}

重试只对幂等写开放,INCR、LPUSH 这类非幂等操作重试会造成重复累加——切换窗口的对账成本比一次报错高得多。

别把只读保护关掉

看到 READONLY 的第一反应不能是「把 replica-read-only 改成 no」。这个参数默认开启,正是为了防止从库被写入造成主从数据分叉。关掉它,切换窗口里会出现双写,之后合并数据的代价远超这几十秒的写入失败。

适用边界与常见坑

  • 切换前已经写入旧主但未同步的命令会丢失,业务侧需要按时间窗口对账,这不是客户端能解决的。
  • 连接池的 maxWait 设得过小,会把切换窗口放大成业务雪崩:请求快速失败、上层重试、再失败,形成正反馈。切换场景下宁可让等待稍长一点。
  • Cluster 模式的 MOVED/ASK 重定向是另一类问题,别和 READONLY 混为一谈,两者的处理路径完全不同。
  • 每次演练都验证一遍:手动 sentinel failover 之后观察应用错误率曲线,比写在文档里的预案可靠。
查看「数据库与缓存」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。