分布式锁选型:Redis / RedLock 争议、ZooKeeper、etcd 与数据库保底

Hello,我是小兔大白糖。 多副本抢同一条关键路径时,本地 synchronized 帮不上忙;上了 Redis 锁又怕主从切换「两个人同时进门」——排障到最后,常常不是「再找一个更强的锁组件」,而是互斥合同到底买什么、卖什么没写清。写成这篇,给熟悉超时重试、幂等和对账,却还在「Redis 一把梭」和「凡事上 ZK」之间摇摆的后端同学:做一次业界向的分布式锁选型调研。
分布式锁买的是短临界区互斥与可恢复失败,不是跨服务事务;锁之外必须有幂等与 fencing。
说明:伪流程与数字均为教学脱敏 / 示意,不绑定某司业务栈。读完带走的是心智模型与取舍清单,不是某项目说明书。
估计阅读时间:12 分钟
目录
- 为什么现在要关心这件事?
- 心智模型是什么:电子门禁
- 精确定义是什么:四条硬边界
- Redis、ZK、etcd、DB 怎么对照?
- RedLock 争议该怎么诚实写?
- 教学场景怎么选锁?
- 常见坑有哪些?
- 该怎么选?一句话结论
为什么现在要关心这件事?
分布式锁是跨进程的互斥信号:任意时刻尽量只有一个客户端持锁;它不自动等于业务正确性。
现场里常见的误伤:
| 你看到的现象 | 常见真相 |
|---|---|
| 主从切换后偶发「双写」 | AP 向 Redis:锁还没同步到从库,新主又能发锁 |
| 持锁调用外部 API,全站卡住 | 把远程长调用塞进临界区;续期只是兜底不是执照 |
| 「上了锁还重复下单」 | 锁只管互斥,不管重试幂等与对账 |
| RedLock 当资金级银弹 | 正确性依赖墙上时钟与有界暂停——争议在公开文献里 |
| JVM 卡死却锁永不释放 | 看门狗只认「进程还在续期」,不认业务线程是否活着 |
和「能原子操作就别上锁」同一类问题:你以为在买正确性,其实在买失败形态是否可预期。本文钉四件事——互斥合同边界、AP/CP 分叉、RedLock 争议要诚实写、fencing / 续期 / 幂等缺一不可。
心智模型是什么:电子门禁
一个主比喻:公共洗手间门口的电子门禁。硬规则优先,比喻有局限。
| 门禁能力 | 对应锁要求 | 人话 |
|---|---|---|
| 红灯一次只让一人进 | 互斥性(Mutual Exclusion) | 任意时刻尽量一人持锁 |
| 里面晕倒也要能自动开锁 | 防死锁(有 TTL / 租约) | 持锁者崩溃,锁最终可释放 |
| 你拿着同一张卡再开里门 | 可重入(可选) | 同客户端可再进同一把锁 |
| 门禁电源有备份 | 容错 | 部分节点挂了,锁服务仍可用 |
类比局限一句说清:门禁解释得了「谁先进去」;解释不了「进去以后扣款失败怎么回滚、重试会不会再扣一次」——那是幂等、状态机与对账的活。 锁合同管互斥,不管业务语义全覆盖。
精确定义是什么:四条硬边界
先问「短暂双持能否容忍、持有多久、QPS 多高」,再选组件;别先贴「分布式锁」当护身符。
1)锁是互斥合同,不是业务正确性全部
合同内容通常包括:互斥、可超时释放、(可选)可重入、部分故障下仍可服务。
合同不包含:自动幂等、自动回滚、自动对账、替你缩短远程调用。
- 多买到:多副本下临界区串行化的概率大幅上升。
- 账单:仍要幂等键、超时边界、失败补偿;锁释放后重试照样可能撞业务。
2)AP 向 Redis 锁:短持有、高并发
公开常见形态:SET key uniqueValue NX EX seconds(原子占坑 + TTL);释放用「比对 owner 再删」的 Lua,避免误删别人的新锁。
生产向客户端(如 Redisson)常见看门狗(Watchdog):持锁期间周期性续期;进程崩溃则续期停、TTL 到期释放。
注意:业务线程死循环时,看门狗往往仍会续期——固定租期或业务侧心跳,才是「卡死也要交回锁」的纪律。
主从 / 异步复制下的经典风险:Client A 在主上拿到锁 → 主宕且未同步 → 新主上 Client B 再拿同一把锁 → 短暂双持。能容忍就用;不能容忍就别把正确性押在这条路上。
3)CP 向 ZK / etcd:强一致租约
ZooKeeper:临时顺序节点 + Watch 前驱;会话断开则临时节点删除,天然防死锁;序号可作 fencing 线索。
etcd:Lease(租约)+ KeepAlive;前缀下按 create_revision 排序抢锁;revision 单调,便于资源侧拒旧主。
- 多买到:写路径走共识,不靠「各节点墙上时钟碰巧一致」。
- 账单:延迟与运维成本更高;写 QPS 通常远低于单机 Redis 短锁路径(数量级示意,以你集群压测为准)。
4)DB 唯一索引 / 行锁:低频保底
INSERT 唯一键成功即持锁,冲突即未拿到;或 SELECT … FOR UPDATE 串行化一段事务。
适合日终任务、对账互斥、本来就在库里的低频闸门——不适合热点抢锁。
Redis、ZK、etcd、DB 怎么对照?
业界常见四条路:吞吐优先、共识租约、云原生租约、库内保底——每条都有代价。
| 模式 | 适用 | 你多买到什么 | 主要代价 |
|---|---|---|---|
A. Redis SET NX EX / Redisson | 短临界区、高并发、可容忍罕见双持 | 延迟低、生态熟、可看门狗续期 | 主从切换丢锁;时钟与 GC 暂停要心里有数 |
| B. RedLock(多独立 Redis) | 想在 Redis 上抬高可用性 | 单实例故障不致整把锁没了 | 正确性争议大(见下节);运维要真「独立」节点 |
| C. ZooKeeper 临时顺序节点 | 强互斥、要顺序 / fencing 线索 | 共识写、会话丢则锁释 | 写放大、Watch 用法要防羊群效应 |
| D. etcd Lease + revision | K8s / 云原生侧 Leader 与互斥 | 租约清晰、revision 可 fencing | 集群与配额成本;别当万能高 QPS 锁 |
| E. DB 唯一索引 / 行锁 | 低频任务互斥 | 零新组件 | QPS 弱;续期与故障释放要自己补 |
分享向默认推荐:
- 能
INCR/ Lua / 单行条件更新解决 → 先别上锁。 - 短临界区、吞吐优先、短暂双持可接受 → Redis / Redisson;写清主从风险。
- 资金类 / Leader / 「宁可慢不可双持」 → ZK 或 etcd。
- 一天几次的任务闸门 → DB 唯一键往往够用。
代价必须写进选型:AP 买吞吐,卖的是罕见双持窗口;CP 买互斥确定性,卖的是延迟与运维;DB 买简单,卖的是扩展性。
公开旁证(可核对,非某厂内幕):Kubernetes 控制面 Leader Election 走 etcd 租约一路——说明「云原生强互斥优先共识存储」是业界常见收敛,不是个别团队玄学。
RedLock 争议该怎么诚实写?
RedLock 不是「官方盖章的金融级银弹」;公开辩论两边都要让读者看见。
算法直觉(教学):向 N 个独立 Redis 节点发同一把 SET NX EX;拿到多数(N/2+1)且获取耗时仍小于有效期,才算持锁;有效期再扣掉获取耗时;释放时尽量对所有节点删。
Martin Kleppmann(2016,《How to do distributed locking》)核心批评:
- 墙上时钟(wall clock):TTL 与「是否仍持锁」依赖各节点时间;NTP 跳变会扭曲有效期。
- 有界暂停假设脆弱:长时间 GC / 停顿后,客户端仍以为自己持锁,另一客户端可能已合法接手。
- 缺 fencing token:资源服务难以拒绝「旧持锁者晚到的写」;对比 ZK 的 zxid / etcd 的 revision。
- 正确性不宜绑死物理时钟:更稳的路径是共识与逻辑顺序。
antirez(Redis 作者)一侧的回应(归纳,非内幕):
- 设计假设是进程暂停与网络延迟有界;在该假设下讨论安全。
- 若要绝对正确性,应用 ZK / etcd 一类共识系统,而不是 Redis。
- RedLock 定位偏可用性与性能优先的场景,不是「替代共识」的万能件。
本文立场(分享向可复述):
- 短临界区、可对账、可容忍极低概率双持 → 单机/集群 Redis 锁常够用;上 RedLock 前先问「节点是否真独立」。
- 资金划转、库存硬闸、必须拒旧主 → 不要把正确性押在 RedLock 上;用 ZK / etcd,并让资源侧认 fencing。
- 进程暂停超过 TTL,任何基于租约的锁都会难看——差别在于有没有单调令牌让存储拒绝过期持有者。
不确定处不装懂:你环境里 NTP 抖动与 GC 尾延迟是否「有界」,只能靠观测,不能靠口号。
教学场景怎么选锁?
三个最小场景,对应三种合同;代码刻意少,结论应能离开代码独立成立。
1)短临界区——Redis 原子占坑
教学伪流程:
SET lock:order:{id} {owner} NX EX 30
# 成功 → 做内存内最短更新 → 比对 owner 再 DEL(Lua)
# 失败 → 快速失败或有限重试;业务仍要幂等适合:防同一单据并发重复推进、短配置刷新闸门。
不适合:持锁打外部支付 / 长事务;主从切换不可接受的硬互斥。
2)强互斥——etcd 租约(或 ZK 临时节点)
grant lease(TTL)
PUT /locks/job/{name}/… bind lease
keepalive until done
delete key / revoke lease
# 资源侧可要求携带 create_revision,拒绝更旧的写适合:多副本里「同一时刻只跑一个批处理」、控制面 Leader。
代价:延迟与集群运维;别拿它刷热点用户级锁。
3)日终任务——DB 唯一键保底
INSERT INTO job_lock(biz_date, holder, expire_at) VALUES (…)
# Duplicate → 已有人跑;定时清 expire_at < now()适合:对账、报表、一天一次的互斥。
不适合:秒级高争用;也别指望它自带优雅续期。
常见坑有哪些?
常见坑:用锁代替幂等、过期无 fencing、跨机房强依赖一把锁。
-
用锁代替幂等
锁释放后重试仍可能二次生效;互斥与幂等是两张合同。 -
持锁做远程长调用
临界区被网络尾巴拉长;看门狗续期是兜底,不是鼓励长持有。 -
SETNX+EXPIRE拆成两步
中间崩溃会留下永不过期的 key;用原子SET … NX EX或等价脚本。 -
释放不校验 owner
自己的锁已超时被别人拿走,裸DEL会拆掉别人的门禁。 -
锁粒度过粗
全站一把锁 → 队列打满、吞吐塌方;按业务键拆细,并评估能否无锁化。 -
RedLock 当资金级正确性方案
公开争议摆在那里;强互斥走共识,并考虑 fencing。 -
无续期也无固定租期纪律
业务偶发变慢就双持;或卡死后续期到天荒地老——两种都要显式选。 -
以为锁 = 分布式事务
锁只管互斥;多步提交的原子性与回滚是另一篇文章的题(本系列 order 1)。
该怎么选?一句话结论
- 锁 = 互斥合同:仍要幂等、超时与对账;删掉锁实现后,这两条应还能单独成立。
- AP 向 Redis:短持有、高并发;写清主从丢锁与时钟风险;看门狗是续期工具不是长调用执照。
- RedLock 要诚实:有公开批评与作者边界说明;绝对互斥别押在这。
- CP 向 ZK / etcd:强一致租约 + 更自然的 fencing;买确定性,卖延迟与运维。
- DB 唯一键:低频保底,组件最少。
- 能原子操作就先别锁:
DECR/ 条件更新 / 单行状态机,往往比「锁 + 一长串副作用」更干净。
下一步:列一张表——每个互斥点标「可否短暂双持 / 持有时长 / QPS / 是否要 fencing」→ 可双持且短 → Redis → 不可双持 → ZK/etcd → 低频 → DB → 能无锁化的从锁名单划掉。
系列导航:
- seriesOrder 1(
distributed_tx_saga_tcc,2PC / TCC / Saga / Outbox)发布后在此补链/blog/distributed_tx_saga_tcc/ - 本篇(seriesOrder 2):分布式锁选型与 RedLock 争议
- seriesOrder 3(
cap_base_consistent_hash)发布后在此补链/blog/cap_base_consistent_hash/