2024 年 11 月 16 日 · Redis 深度实践 04
客户端收到 SET 的 OK,接着主节点退出。这笔数据能不能回来?
如果回答是“有 AOF,所以能”,我还会继续问:有没有 fsync,文件在哪块盘上,故障切换会选哪个副本,备份上一次恢复是什么时候。这里的每个答案,都可能改变最后的结果。
我会把问题分成三段:本地怎么保存,副本跟到了哪里,故障后怎么找回正确的数据。 下面按 Redis 7.2.6 的实现展开,最后真的停一次进程、恢复一次快照。
先把“写成功”拆成不同的确认点

普通 SET 返回 OK,首先说明命令已被当前服务端处理。它能否同时代表落盘,取决于持久化配置和具体确认机制。复制和持久化分别有自己的进度,不能只数“部署了几台机器”。
| 观察到的结果 | 能说明的事 | 还没有说明的事 |
|---|---|---|
| SET 返回 OK | 当前节点处理了写入 | 所有副本与磁盘都已保存 |
| WAIT 返回 1 | 至少一个副本确认了本连接此前写入的复制进度 | 副本一定已 fsync、切换一定选它 |
WAITAOF 返回 [1,1] |
本节点与至少一个副本确认了对应 AOF fsync | 业务已经获得强一致系统 |
| 独立备份恢复成功 | 这份备份能恢复到验证过的状态 | 最后一次备份之后的写入也存在 |
WAIT 和 WAITAOF 都不是强一致开关,官方文档专门说明了这一点。WAIT、WAITAOF
我会先把允许的数据丢失窗口 RPO 和恢复时间 RTO 写出来。如果业务说“绝对不能丢、也不能停”,光靠几项 Redis 配置无法直接兑现,需要连同权威存储、故障模型和业务补偿一起设计。
RDB 是一个恢复点,AOF 是一条需要管理的写入历史
RDB 保存某个时间点的数据集。BGSAVE 通常由子进程生成文件,父进程继续接请求;副本和备份系统也可以利用快照。它适合形成清晰的恢复点,但快照之后的写入不会凭空出现在旧文件中。RDB 机制
AOF 则记录写入带来的变化。Redis 7.0 起采用多文件 AOF:manifest 维护 base 文件与增量文件的关系,base 文件还可能使用 RDB 格式。因此,在 7.2.6 上只寻找一个 appendonly.aof,很容易找错对象。AOF 配置与实现
常见起步配置如下,具体值需要按业务与磁盘验证:
1 | appendonly yes |
everysec 通常把未落盘窗口控制在约一秒的量级,但磁盘阻塞、系统调度等会让它偏离理想情况,不应写成“任何故障最多丢一秒”。always 追求更频繁的 fsync 确认,代价要测磁盘延迟;no 则把时机更多交给操作系统。
no-appendfsync-on-rewrite yes 会在重写相关阶段减少 fsync 干扰,同时放大数据风险窗口。我不会把它放进一份没有说明代价的“性能优化配置”。重写阈值也只是触发条件,不是最大 AOF 体积保证。
后台保存,仍然要给 fork 和写时复制留预算
子进程生成快照时,父子进程最初共享许多内存页;父进程继续写,修改过的页就可能产生写时复制。数据集越大、写入越活跃、后台操作越久,额外内存和延迟越值得关注。
这也是为什么“机器 16 GB,maxmemory 就设 15 GB”往往经不起一次重写。maxmemory 的淘汰统计口径和整台机器实际内存峰值并不是同一回事。Linux 上还要检查 overcommit、透明大页和换页情况,不能把 macOS 的本地结果当成 Linux 的内存行为。官方管理说明
我会在演练期间记录这些指标,而不是只看平均 CPU:
1 | INFO persistence |
重点对照 rdb_bgsave_in_progress、aof_rewrite_in_progress、rdb_last_bgsave_status、aof_last_bgrewrite_status、aof_last_write_status,再看 latest_fork_usec、COW 相关统计和磁盘时延。指标名称和口径可以查INFO 说明。
即便采用 AOF,也要保留独立备份。误删会被复制,也会继续进入日志;有副本不等于能回到误删之前。
复制延迟和落盘延迟,是两条进度线
Redis 主从复制默认异步。主节点处理完写入,不会因为每个副本都尚未处理完,就一律阻塞当前写请求。副本断线后,能否增量追赶,还取决于复制 ID、offset 和 backlog 是否覆盖缺口。复制说明
backlog 我会按复制流量估算:
1 | backlog 预算 ≈ 峰值复制流量 × 希望覆盖的断连时间 × 余量 |
例如测得峰值复制流量约 5 MiB/s,希望覆盖 60 秒,基础就是 300 MiB,再考虑突发和测量误差。这里要用复制流量,而不是简单拿业务请求体大小相乘;副本追赶能力也要大于新增流量,否则保留再长仍追不上。
下面两项可以在健康副本不足时限制主节点继续接收写入:
1 | min-replicas-to-write 1 |
它检查满足条件的副本数量和延迟,能减少某些孤立主节点继续写入的窗口,但没有让每条写都同步落在一个副本上。副本或网络故障时拒绝写入,是它主动换来的可用性代价。配置解释
WAIT 和 WAITAOF,要跟写命令用同一条连接
这两个命令针对的是当前客户端连接之前的写入。连接池借出连接 A 完成 SET,再借连接 B 去 WAIT,不能假设检查的就是 A 的那笔写入。
在同一个交互式 redis-cli 会话中,可以这样观察:
1 | SET invoice:42 paid |
WAIT 返回达到复制进度的副本数量;WAITAOF 的两个数字分别对应本地和副本 AOF 的确认数量。超时后也会返回实际达到的数值,要检查是否满足自己的要求。0 超时表示无限等待,不适合随手放到有响应预算的接口里。
要等待副本 AOF,副本也必须启用 AOF,并正常跟进。把 WAITAOF 放进不能阻塞的事务或脚本上下文,它不会按普通阻塞方式等待。具体限制和行为以7.2 时期的命令文档为准。
如果要求没有达到,这笔写入也不因此撤销。应用拿到“确认不足”后,需要保留状态、查询或补偿;重试一笔非幂等操作,可能把结果执行两遍。
我真的停了进程,再分别从 AOF 和 RDB 恢复
实验启动一主一从,都开启 AOF、appendfsync everysec,随后按以下顺序执行:
- 写入
lab:invoice:42=paid,在同一连接执行 WAIT 和 WAITAOF。 - 完成 BGSAVE,把生成的 RDB 复制到独立恢复目录。
- 再写入
lab:after-snapshot=tail-write,等待本地 AOF fsync。 - 用 SIGKILL 停止主进程,再从原目录重新启动,检查 AOF 恢复。
- 在另一个目录、另一个端口,只加载那份 RDB,检查恢复点。

结果很直观:
| 检查项 | 本次结果 |
|---|---|
| WAIT 1 3000 | 1 |
| WAITAOF 1 1 5000 | [1,1] |
| AOF 重启后 invoice | paid |
| AOF 重启后快照之后的 Key | tail-write |
| 仅用 RDB 恢复 invoice | paid |
| 仅用 RDB 恢复快照之后的 Key | 不存在 |
这个实验验证了进程崩溃后的恢复路径和快照边界。SIGKILL 没有关闭操作系统,更没有模拟断电、损坏磁盘或存储设备谎报写入完成,不能拿它证明所有故障下的数据保证。

运行方式与原始结果(见文末实验记录)如下,实验脚本还会检查 manifest 是否存在,并断言恢复值正确:
1 | python3 lab/redis_lab.py durability --redis-server "$REDIS_LAB_SERVER" |
真正能交接的,是一套验证过的恢复顺序
我会给恢复手册写明数据目录、配置、版本和依赖,保留最后一次验证的结果。只写“从备份恢复”五个字,值班同事仍然需要临场做太多决定。

恢复时,我会先隔离故障节点和写入流量,保护原始文件副本,再选择恢复点。在干净实例上加载备份,核对日志和数据,然后让应用用实际查询抽样验证。Key 数量相同,并不能证明值相同;还要检查关键值、TTL、业务序号和预期时间窗口。过期中的 Key 会变化,校验口径需要约定。
RDB 备份应在保存完成后复制,并保留校验和、生成时间与版本。多文件 AOF 要按同一时点的 manifest 和它引用的文件形成一致集合,不能趁正在重写时随意拷几个文件。备份还应离开实例所在的故障域,并定期在独立环境恢复。
遇到截断或损坏,先复制保留原件,再用对应版本的 redis-check-rdb、redis-check-aof 检查。带 --fix 的修复会改变文件,修复可能意味着丢弃尾部内容;不能直接对唯一一份原始数据下手。RDB 与 AOF 同时启用时,启动加载还要遵循对应配置和 AOF 的恢复路径。官方恢复说明
数据能否找回来,最后要由恢复结果回答。文件存在、复制在线、监控绿色,都是有用的信号;真正值得保留的是一次完整恢复的耗时、校验记录,以及业务确认过的缺失窗口。
实验环境与完整代码
先准备 Redis 7.2.6。以下操作只创建本机实验目录,需要 C 编译器、make 和 Python 3;Redis 实例仅监听回环地址。
1 | mkdir -p /tmp/redis-deep-lab-build |
在自己的实验项目中创建 lab/ 目录,把下面的 Python 代码保存为 lab/redis_lab.py,然后回到该项目根目录运行文中的命令。默认从 18379 端口开始;检测到已有服务会停止。脚本只关闭自己启动的进程,原始输出保存在项目的 assets/ 目录中。
展开本篇完整实验代码(Python 3,无第三方包)
1 | from pathlib import Path |
展开本篇实验记录
1 | { |
资料与阅读顺序
- 官方持久化文档历史快照:RDB、AOF 与备份恢复的机制。
- 官方复制文档历史快照:复制进度、增量同步与副本限制。
- 7.2.6 AOF 源码、RDB 源码:核对多文件日志和加载行为。
- Josiah L. Carlson,《Redis in Action》,第 4 章:适合补充持久化、复制与故障处理的思考框架;多文件 AOF、WAITAOF 等细节以本篇固定版本资料为准。