CAP / BASE / 一致性 Hash:分区时选 C 还是 A,以及扩容怎么少搬家

Hello,我是小兔大白糖。 架构评审里最容易吵起来的一句话是:「我们系统到底是 CP 还是 AP?」——一问之下,往往发现有人把全站口号当成了设计,有人把最终一致听成了「可以不对账」。写成这篇,给要做分布式取舍调研的初中级后端同学:带走可复述的硬规则,不是某司内部定档。
说明:产业分层示例与数字均为教学脱敏 / 示意。文中「账本 / 撮合 / 行情」是公开产业叙事里常见的业务平面,不声称任何厂商「官方内部就是这样」。
估计阅读时间:11 分钟
目录
- 为什么现在要关心
- 心智模型:餐厅分店与环形车位
- 精确定义:CAP、PACELC、BASE
- 业界模式对照:CP / AP / 分层
- 一致性 Hash:少搬家的分片合同
- 教学场景:按平面做 CAP
- 常见坑
- 选型结论
为什么现在要关心
分区一旦发生,一致性(C)与可用性(A)只能二选一;无分区时,强一致还要和延迟讨价还价——这不是口号,是合同。
现场里常见的误伤:
| 你看到的现象 | 常见真相 |
|---|---|
| 「全站 CP」写进设计,读列表却永远要强一致 | 非资金路径被强一致拖死;P99 全是跨副本等待 |
| 「我们是 BASE,最终一致就行」 | 没有幂等、对账、修复 SLA;差异永远挂着 |
| 缓存扩容一晚打满带宽 | hash % N 改 N,几乎全量重映射 |
| 节点挂了一台,相邻机跟着雪崩 | 迁移面砸在单一邻居;无过载保护 |
| Cassandra「可调一致」被当成 CAP 被推翻 | 调的是单次读写级别,不是魔法三角消失 |
心智模型一句话:CAP 管「路断了选哪边」;PACELC 补「路通时还要付延迟」;一致性 Hash 管「加人时少搬家」。
心智模型:餐厅分店与环形车位
用两家分店和环形停车场,先建立直觉;精确定义以下一节为准。
CAP ≈ 两家分店的不可能三角
- C(Consistency,一致性):同一时刻,两家看到的菜单库存一致。
- A(Availability,可用性):客人来了总能点单,不被拒。
- P(Partition Tolerance,分区容错):两条街之间的路断了,分店还得各自撑着。
路一断(分区发生),你只能选:关一家保「库存说法一致」(偏 C),或两家各自卖、可能一边卖光一边还有(偏 A)。类比局限:餐厅解释不了「无分区时同步复制要等多久」——那是 PACELC 的账。
BASE ≈ 火锅店经营哲学
- Basically Available(基本可用):高峰只降级体验(排队、关非核心),不全站关门。
- Soft State(软状态):允许短暂中间态(汤还在加热)。
- Eventually Consistent(最终一致):没有新更新时,副本会收敛——不是「可以随便丢数据」。
一致性 Hash ≈ 环形车位
传统 hash % N 像按尾号停编号车位:车位总数一变,几乎全员挪车。一致性 Hash 把节点和 key 都丢进环,key 顺时针找下一个节点;增删节点主要搅动相邻弧段。类比局限:停车场解释不了「热点 key」和「副本策略」——环只解决映射与迁移面,不自动解决负载与正确性。
精确定义:CAP、PACELC、BASE
硬规则:分布式默认要把 P 当现实约束;分区时在 C 与 A 之间选;无分区时在延迟(L)与一致(C)之间选;BASE 是缩小强一致边界的工程哲学,不是放弃一致。
CAP
Eric Brewer 提出,后由 Gilbert / Lynch 形式化讨论。教学常用三元组:
| 字母 | 含义(人话) | 牺牲时常见代价 |
|---|---|---|
| C | 读到的是约定语义下的「最新一致视图」 | 脏读 / 旧读 |
| A | 请求在有限时间内拿到非错误响应 | 拒服务、超时、阻塞 |
| P | 节点间网络分区时系统仍按所选策略继续 | 若放弃 P,分区即全停 |
为什么实务常说「在 C 与 A 之间选」: 多机部署几乎绕不开网络故障与延迟;把「绝不分区」当假设,等于分区一来整站停机。公开教材叙事里,P 是默认要面对的约束,争议点在「一次分区事件里,这次读写保 C 还是保 A」。
PACELC
Daniel J. Abadi 的扩展(教学记法):
- 有 Partition(P):在 A 与 C 之间选。
- Else(E,无分区):在 Latency(L,延迟) 与 C 之间选。
人话:路通的时候,强一致也经常等于「等多数副本确认」——延迟就是账单。 跨可用区同步写几十毫秒量级很常见;本地提交再异步复制可以压到毫秒内,但读侧要接受短暂落后。数字因拓扑而异,标为量级示意。
BASE
Dan Pritchett(eBay 时期公开文章语境)归纳的互联网高吞吐哲学,对照 ACID:
| BASE | 含义 | 容易误读成 |
|---|---|---|
| Basically Available | 故障时允许部分降级,不完全不可用 | 「可以经常挂」 |
| Soft State | 允许副本短暂不一致 | 「状态可以乱」 |
| Eventually Consistent | 无新更新时最终收敛 | 「永远不用对账」 |
BASE 不是「不要一致」。 它把强一致收缩到最小必要范围:资金类仍可能走同步确认 / TCC 一类短边界;通知、画像、统计走异步与最终一致,并配幂等与对账。
业界模式对照:CP / AP / 分层
成熟做法很少「全站一个 CAP 标签」;按读写语义与错账成本分层。
| 类型 | 公开系统举例(生态叙事) | 分区时典型行为 | 更常见场景 |
|---|---|---|---|
| 偏 CP | ZooKeeper、etcd、HBase;不少协调与配置中心 | 拒写 / 阻塞到恢复 | 分布式锁协调、配置真相、强一致元数据 |
| 偏 AP | Cassandra、Dynamo 风格存储、DNS、部分服务发现 | 继续服务,可能读旧 | Feed、列表、画像、行情推送 |
| 「CA」叙事 | 单机库 | 本就没有跨节点分区问题 | 非分布式边界;别拿来给多机房贴金 |
Cassandra 一类的 Tunable Consistency(可调一致性) 不推翻 CAP:ONE / QUORUM / ALL 是单次操作在延迟、可用与一致之间滑动。读写都 ALL 更偏保 C;都 ONE 更偏保 A。分区事件里,每一次具体读写仍然在做二选一。
大型交易 / 电商公开叙事里,常见分层是:
| 业务平面 | 倾向 | 买什么 | 卖什么 |
|---|---|---|---|
| 账本 / 撮合 / 库存扣减 | CP | 少错账、可审计 | 分区时可能拒单或停写 |
| 行情 / 推送 / 搜索列表 | AP | 不断服、低延迟读 | 短暂旧数据、乱序要客户端容忍 |
| 审计 / 特征 / 离线报表 | 最终一致 | 吞吐与解耦 | 要监控复制延迟与对账修复 |
一致性 Hash:少搬家的分片合同
硬规则:一致性 Hash + 虚拟节点,把节点变更时的迁移面从「几乎全量」压到约总数据的 1/N 量级;用于缓存分片、请求路由、部分 LB——仍要处理热点与级联过载。
传统取模的痛
节点 = hash(key) % N
N: 3 → 4 时,多数 key 的取模结果整体位移 → 近乎全量迁移环上的映射
- 把哈希空间看成环(教学常用
0 … 2^32-1示意)。 - 节点、key 都哈希上环。
- key 顺时针遇到的第一个节点即归属。
- 增删一个节点,主要影响相邻弧段上的 key。
查找常用有序结构(如跳表 / 有序树)做到约 O(log N);也可配合固定槽(如 Redis Cluster 的 16384 hash slot)做成「预分片」变体——槽位固定、迁的是槽的归属,目标同样是可控迁移面。
虚拟节点(Virtual Node)
物理节点少时,环上落点可能挤成一团 → 数据倾斜。做法:每个物理节点映射成多个虚拟节点(业界公开讨论里常见约 150~256 / 节点量级,需按分布标准差调,不是越大越好)。
收益:弧长更均匀。代价:环表更大、路由与变更时的维护成本上升。
和 Redis Cluster Slot 差在哪(选型时常问)
| 维度 | 动态一致性 Hash 环 | 固定 Hash Slot(如 16384) |
|---|---|---|
| 映射 | key → 环 → 顺时针节点 | key → slot → 负责该 slot 的节点 |
| 扩缩容 | 搅动相邻弧段 | 迁移一组 slot(粒度可控) |
| 均匀性 | 靠虚拟节点数 | 固定槽天然细粒度 |
| 运维手感 | 权重≈调虚拟节点数 | 可显式挪 slot |
两者都在做「分片 + 少搬家」;选环还是选槽,看你要的是自动均匀还是显式可控迁移。
教学伪流程(路由,非生产代码)
route(key):
h = hash(key)
vnode = ring.ceiling(h) or ring.first() # 顺时针
return vnode.physicalNode全文刻意不贴实现墙:分享向要带走的是合同——变更迁移面与倾斜治理,不是某段 TreeMap 粘贴。
教学场景:按平面做 CAP
把「交易所 / 电商核心链路」拆成平面,比贴一张全站 CP/AP 标签有用。
| 平面 | 选型倾向 | 分区时示意行为 | 代价 |
|---|---|---|---|
| 撮合 / 资金所有权 | CP | 拒写或只读;不双开主脑各自成交 | 可用性下降;用户感知「下单失败」 |
| 同步风控拦截 | 偏 CP + 超时降级 | 本地规则兜底(常「宁可误杀」) | 误杀率上升;要事后申诉 / 复核 |
| 行情 Tick 推送 | AP | 继续推,允许毫秒~秒级落后 | 短暂旧价;客户端要能重连对齐 |
| 画像 / 列表缓存 | AP + 本地缓存 | 读旧 | 个性化或列表短暂不准 |
| 异步审计 / 特征 | BASE | 积压可接受 | 必须有延迟监控与对账修复 |
为什么撮合叙事几乎总偏 CP: 资金所有权转移要防双花、超卖,并保留可解释时序。分区时若两地各自撮合,对账可能无法收敛——这时「停写」往往比「错账」便宜。行情与推送则相反:断一会难受,错账更难受的是账本平面。
一致性 Hash 在这类系统里的常见落点(通用归纳):
| 用途 | 路由键示意 | 买到的 | 仍要付的 |
|---|---|---|---|
| 缓存 / 会话分片 | userId / key | 同用户粘滞,本地命中更好 | 热点用户仍可能打爆单分片 |
| 规则 / 配置分片 | ruleId | 热更新搅动面约 1/N | 虚拟节点与监控要跟上 |
| 消费组再均衡 | 分区→消费者 | 少搬分区 | Rebalance 风暴要限频 |
常见坑
从架构视角,下面几条会把硬规则听成口号。
-
全站一套 CAP 口号
列表、推送、账本绑死同一策略。该快的被拖死,该对的又对不齐。 -
把 BASE 当成「可以不对账」
最终一致的前提是收敛;没有复制延迟指标、差异率、修复 SLA,差异会永久挂账。 -
「上了 MQ 就等于最终一致」
队列只是工具。缺幂等、死信、对账,丢消息或毒消息会让系统永远到不了一致。 -
以为 P 可以不选,多机房还能「纯 CA」
单机库的 CA 叙事搬不到跨节点拓扑。分区是分布式的默认天气,不是稀有彩蛋。 -
一致性 Hash 裸上线、虚拟节点过少
倾斜把流量砸到少数物理机;再叠加「邻居接盘」→ 级联过载。要过载保护、多副本、扩容预热,不只靠环本身。 -
虚拟节点「越多越好」
内存与变更成本上升。用分布标准差与热点监控调参,而不是玄学加到几千。 -
节点宕机后无界接盘
环会把负载顺时针推给邻居;邻居再挂就滚雪球。限流与熔断是合同,不是可选优化。
选型结论
- 分区时 C 与 A 二选一;无分区时用 PACELC 记住——强一致经常换延迟。
- BASE = 基本可用 + 软状态 + 最终一致;缩小强一致边界,配幂等与对账,不是放弃一致。
- 按业务平面做 CAP:账本 / 撮合偏 CP;行情 / 推送可 AP;审计走最终一致并盯收敛。
- 一致性 Hash + 虚拟节点:扩缩容迁移面约
O(K/N);缓存、分片、粘滞 LB 常用;固定 Slot 是可控迁移的近亲。 - 环解决映射,不解决热点与雪崩:副本、过载保护、预热切流要单独设计。
下一步:画一张「平面 × 读写合同」表——每条链路写清:分区时拒写还是读旧、无分区时同步还是异步、复制延迟告警阈值、对账窗口;缓存 / 分片列再补一列「路由键 + 虚拟节点量级 + 倾斜监控」。
系列导航:
- 上一篇:/blog/distributed_lock_selection/(
distributed-deepseriesOrder 2)— 分布式锁选型边界 - 再上一篇:/blog/distributed_tx_saga_tcc/(seriesOrder 1)— 分布式事务与最终一致骨架
- 本篇(seriesOrder 3):CAP / BASE / 一致性 Hash 的分层取舍 )