AOF 重写时内存和磁盘一起涨:fork 之后的写时复制账

AOF 重写期间内存突然抬高、客户端延迟抖动、重写反复失败——这些不是「Redis 有 bug」,而是 fork 加写时复制的必然代价。这篇拆开 COW 的成本构成,给出容量预留与配置取舍。

AOF 重写不是「后台慢慢整理」,它靠 fork 一个子进程来完成。父子进程共享内存页,父进程之后每改一页,内核就复制一份给子进程。写入越猛,被复制的页越多,内存涨幅就越接近这段时间的写入量——同时子进程还要在磁盘上写一份全新的 AOF 临时文件。

典型现象

监控上能看到的是一组同时发生的变化:实例内存使用率在重写窗口内明显抬升,有时会顶到 maxmemory 触发淘汰,把一批本来该留住的 key 清掉;客户端 p99 延迟出现尖刺,尖刺出现在 fork 完成的瞬间;磁盘剩余空间不足时,重写子进程写临时文件失败,日志里反复出现重写异常,随后又因为 AOF 体积仍然超标而再次触发,形成循环。

有几个字段能快速确认当前状态:

redis-cli info persistence | egrep 'aof_enabled|aof_rewrite_in_progress|aof_rewrite_scheduled|aof_last_bgrewrite_status|aof_current_size|aof_base_size'
redis-cli info memory | egrep 'used_memory_human|used_memory_rss_human|mem_fragmentation_ratio'
redis-cli info stats | egrep 'latest_fork_usec'

如果 aof_rewrite_in_progress 长期为 1、aof_last_bgrewrite_status 是 err,先查磁盘,不要先怀疑配置。

成本到底来自哪里

fork 本身并不复制内存,只复制页表,所以耗时通常在毫秒级,但它和实例的内存总量正相关,内存越大,fork 引起的停顿越明显,这也是 latest_fork_usec 值得盯的原因。

真正的开销在后面:Redis 主线程是单线程处理命令的,任何一个写命令修改了某个内存页,内核就要为这个页做一次复制。所以 COW 的代价与「重写期间的写入量」成正比,而不是与数据总量成正比。但如果这期间的写入分散在大量 key 上,几乎每个页都会被打到,实测感受就接近「内存翻倍」。

另一半开销是重写缓冲:重写期间新产生的写命令既要追加到旧 AOF,也要写进 aof_rewrite_buf,等子进程结束后再追加到新文件末尾。写入量大的时候这个缓冲本身也会占用可观内存。

配置上的取舍

# 控制触发频率,避免刚重写完又立刻触发
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 512mb

# 重写期间不做 fsync,减少磁盘争抢带来的阻塞
# 代价是这段时间的持久性变弱,需要按业务容忍度决定
no-appendfsync-on-rewrite yes

# everysec 是延迟与持久性的常见平衡点
appendfsync everysec

上面几个数值是常见起点,不是通用最优值,实际要结合实例的写入模式和磁盘能力调整。auto-aof-rewrite-min-size 设得太小,小实例会频繁重写,反而放大抖动。

系统层面还有两件事必须确认:vm.overcommit_memory 要允许 overcommit,否则内存紧张时 fork 会直接失败;透明大页建议关闭,否则 COW 的复制粒度会从 4KB 变成 2MB,内存放大和延迟抖动都会被放大。

磁盘预留按最坏情况算:同一时刻可能存在「旧 AOF + 新 AOF 临时文件」两份,再叠加重写缓冲和 RDB 快照,建议至少留出一倍数据量的余量。

边界与常见坑

不要在业务高峰手动执行重写。如果确实是 AOF 膨胀需要处理,优先选低峰窗口,并提前确认内存余量能覆盖 COW。

no-appendfsync-on-rewrite yes 降低了阻塞,但它是一个持久性上的让步:这期间如果实例异常退出,落在页缓存里还没刷盘的命令会丢。对账类、订单类数据不建议开。

从库同样会做重写和 fsync,主库调优时别忘了从库的磁盘和内存也要跟着评估,否则故障切换后新主库会以同样的方式抖动一次。

如果实例内存已经接近上限,更稳的顺序是先把热点 key 或大 key 拆掉、降低单实例数据量,再谈重写参数。单纯把 auto-aof-rewrite-percentage 调大只是把问题推迟到下一次。

查看「数据库与缓存」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

AOF 重写时内存和磁盘一起涨:fork 之后的写时复制账 - 起航社区