详情缓存:cache-aside 读、Change Stream 只 DEL,别让失效回表

详情缓存:cache-aside 读、Change Stream 只 DEL,别让失效回表

Hello,我是小兔大白糖。 详情页 enrichment(拼装展示字段)一贵,大家就上 Redis 扛读;写侧一乱,失效 worker 会被读流量拖死,或者 Change Stream(变更流)开了 fullDocument: updateLookup,失效路径自己变成回表放大。写成这篇,给要做 详情展示缓存:读路径 cache-aside + 变更驱动失效 选型调研的初中级后端同学。

说明:文中「详情页 / enrichment / cache key / DEL」等均为教学脱敏 / 示意。cache-aside、TTL、Redis DEL / MGET、MongoDB Change Streams 与 fullDocument 选项用公开概念钉合同;不声称任何厂商「官方内部就是这样」。两级缓存(进程内 L1 + Redis L2)读写约定见 /blog/ristretto_redis_two_tier_cache/;「读路径别顺手写库」见 /blog/read_path_must_not_write/。

估计阅读时间:10 分钟


目录


为什么现在要关心

三条硬规则先钉死——删掉比喻也能复述给同事。

  1. 读:统一 cache-aside(旁路缓存)。
    批量 MGET miss → 源库 enrich → 写回缓存;缓存层失败则回源,不假装命中。

  2. 失效:只删键,不借变更流回表拉全量。
    业务展示字段变更 → DEL 对应 cache key;禁止把每次「访问触达 / last-touch」更新当成失效源;禁止失效路径默认 updateLookup 回表。

  3. Change Stream 用独立消费者。
    与主 API 进程解耦;resume token(续读位点)持久化;过滤「不改展示内容」的噪声字段更新。

现场里「缓存好像没用上 / 失效 worker CPU 炸了」这句话,常常混了三件不同的事:

你看到的现象常见真相
Redis 命中率不低,详情仍慢miss 后 enrichment 贵;或裁切媒体后把脏形状写回
失效 QPS 跟读 QPS 一起涨访问时间 / last-touch 更新进了变更流,被当成失效源
源库读被「失效链路」打满Stream 开了 fullDocument: updateLookup,每条变更先回表拉全文
多副本偶发读旧只清了 Redis,进程内 L1 还在;或只靠 TTL、无变更 DEL

同站若已写过「热读别同步刷访问字段」,那是读路径副作用写;本文钉的是另一刀:展示缓存怎么读、怎么因库变更失效,且失效本身不制造读放大。


问题空间:贵 enrichment 与脏失效

产品动作很常见:详情要拼权限、媒体、关联实体,单次回源贵,于是用 Redis 扛重复读。灾难往往来自「谁有资格撕缓存标签」。

压力通常叠三层:

  1. 读侧无统一入口 → 有的路径 miss 回源却不回填,有的路径把半成品写进缓存,形状越用越脏。
  2. 失效源选错 → 把「有人看过」一类触达字段更新当成「展示内容变了」,失效 QPS 被读流量拖死。
  3. 失效实现选贵 → 为了「看清楚改了啥」在 Stream 上开全文 lookup,失效 worker 变成第二套读放大。

「写了就双删」听起来简单——调用点一漏,脏数据能活到 TTL;「一切靠 TTL」则脏读窗口等于过期时间。业界常见折中是:TTL 做兜底 + 业务字段变更驱动 DEL;把「访问统计」从失效源里摘干净,见 /blog/read_path_must_not_write/。


心智模型:货架标签 vs 进货单

主比喻:仓库货架上的标签复印件,与库房进货单。

类比含义适合回答
进货单(源库)真相在库房miss 后谁 enrichment
货架标签复印件(缓存)加快导购,可撕可再印命中时为何不碰源库
客人拿走复印件(读命中)cache-aside 命中直接返回为什么缓存失败要回源
货架真换货 → 撕标签(DEL)展示字段变更才失效谁有资格触发失效
为撕标签去搬整箱货核对updateLookup 回表拉全文失效为何会打源库
有人路过就撕标签访问触达驱动失效失效 QPS 为何跟读走

一句话:标签为人服务;换货才撕;撕标签不要搬整箱货。

货架标签(缓存)与进货单(源库):换货才撕标签;路过撕标签是反例
货架标签(缓存)与进货单(源库):换货才撕标签;路过撕标签是反例 · 点击查看 SVG 原图

类比局限:这套比喻解释读写职责与失效触发条件;解释不了 L1/L2 多实例短暂不一致、也不解释 Stream 的集群拓扑与选举——两级缓存见 /blog/ristretto_redis_two_tier_cache/;位点与副本细节以你锁定的数据库版本文档为准。


精确定义:读回填与失效只删

把「详情缓存」拆成可勾选合同:怎么读、因什么失效、失效时做多贵的事。

术语人话定义边界
cache-aside(旁路缓存)应用先查缓存;miss 再查源、回填;源才是真相不是「写库时同步把完整对象塞进缓存」的 write-through 合同
enrichment把主键实体拼成展示 DTO(权限、媒体、关联名等)拼装顺序与裁切规则要稳定;半成品勿写回
变更驱动失效源库业务字段变更后删对应 cache key,逼下次读回源删键幂等便宜;不等于「Stream 里直接写新缓存」
噪声字段更新不改变用户可见展示内容(如 last-touch、访问计数)应过滤;更好的是根本别在热读上写它们
fullDocument: updateLookupChange Stream 在事件上附带/回查更新后全文方便调试与复杂投影;默认拿来做失效会读放大
resume token消费者续读位点;崩溃后从位点接着消费要持久化;丢位点就要面对重放或漏失效

补充边界:

  • 缓存失败 fail-open 回源:正确;「缓存挂了就返回空成功」是假装命中。
  • 空结果 vs 正结果:键语义与 TTL 要分开谈——把「没有」编码错会放大回源,计数场景见 /blog/unread_count_collscan_and_zero_cache_miss/。
  • 多副本进程内 L1:只 DEL Redis 时,各实例 L1 可能短暂旧——接受窗口、广播失效或缩短 L1 TTL,账单见两级缓存文。

业界模式对照

详情展示缓存常见 A+C(TTL 兜底 + 变更 DEL);写路径能收口时用 B;禁止把 D 当失效默认,也禁止把查询触达字段当失效源。

模式做法代价适用
A. TTL-only只靠过期脏读窗口 ≈ TTL;改完要等过期极低变更、可接受窗口
B. 写路径双删 / 双写业务写代码主动失效或写缓存实现直观;易漏调用点;双写有半成功写入口少、能审全
C. Change Stream → DEL库变更驱动删键要过滤噪声;运维 resume;至少一次 DEL展示字段变更分散、怕漏调
D. Stream + fullDocument lookup失效前拉/附全文再决定读放大;打源库;延迟抬升调试、复杂审计;非默认失效

没有「最佳实践」口号——只谈账单:

  • A+C:TTL 兜住漏网与短暂不一致;C 缩短「改完还脏很久」。你付的是 Stream 运维与过滤规则。
  • B:调用点少时最省事;调用点一散,漏删比 Stream 更难查。
  • D:换「事件上自带全文」的省事,用源库读 QPS 付钱——为撕标签去搬整箱货。
  • 访问触达进失效源:把读流量翻译成失效流量,cache-aside 的收益会被自己吃掉。
Change Stream 失效推荐只 DEL;updateLookup 回表是读放大反例
Change Stream 失效推荐只 DEL;updateLookup 回表是读放大反例 · 点击查看 SVG 原图

示意伪流程

读:miss 才 enrich 并回填;失效:业务字段变更映射 key 后 DEL。

教学伪流程(示意,非某驱动 API):

READ(ids):
  hits, misses := MGET(cache_keys(ids))
  if cache_layer_error → return SOURCE.enrich(ids)   // fail-open,不假装命中
  if misses empty → return merge(hits)
  fresh := SOURCE.enrich(misses)                      // 稳定顺序 merge
  SET fresh(裁切后的展示形状;勿写回脏半成品)
  return merge(hits, fresh)

INVALIDATE worker(独立进程):
  for event in ChangeStream(resume_token):
    if only_noise_fields(event) → skip                 // last-touch / 访问计数等
    if touches_display_fields(event):
      DEL cache_key(event.entity_id)                   // 只删,不 updateLookup
    persist(resume_token)

反例(同一失效链):

ChangeStream(fullDocument: updateLookup)
  → 每条 update 回表拉全文
  → 再 DEL(或更糟:在 worker 里重算 enrichment 写回)
  → 写流量叠进源库读;失效越勤,库越疼

分享向代码到此为止:删掉围栏,上面硬规则与模式表仍应成立。


常见坑

从架构视角看,下面几条会把「加了缓存」修成「多了一个会打库的失效器」。

  1. 把访问时间 / last-touch 更新当成失效源。
    读越多撕得越勤;命中率指标好看时,失效 QPS 与源库仍可能一起红。先把触达字段移出热读写路径,再谈过滤。

  2. 失效路径默认 updateLookup / 回表拉全量。
    调试可以开;生产失效默认应:事件 → 映射 key → DEL。需要字段级判断时,优先用变更事件自带的 updatedFields 一类信息,而不是每次 lookup 全文。

  3. 空结果与正结果同键同 TTL、语义不清。
    「没有」被编码成 miss,或超短 TTL 打穿,会把 enrichment 放大到已读/空态流量上——计数三态见姊妹篇。

  4. 多副本各有进程内 L1,却只失效 Redis。
    这是物理现实,不是实现 bug。要么接受短暂旧读 + TTL,要么广播失效 / 缩短 L1,账单见 /blog/ristretto_redis_two_tier_cache/。

  5. Change Stream 挂在 API 进程里,或 resume token 只放内存。
    滚动发布丢位点 → 漏失效或从头重放打爆下游。消费者独立、位点可持久、失败可重放 DEL(幂等)。

  6. enrichment 裁切媒体 / 权限后把脏形状写回。
    下次命中直接返回半成品;「缓存有了」比 miss 更难查。写回合同:只写稳定展示形状,或分键分 TTL。

  7. 观测只看平均命中率。
    要能分出:真 miss、失效 QPS、噪声事件占比、lookup/回表次数。否则「路过撕标签」会藏在漂亮平均数里。


选型结论

  1. 读:统一 cache-aside 入口;MGET → enrich miss → 回填;缓存失败回源;顺序 merge;裁切后勿写脏形状。
  2. 失效:业务展示字段变更 → DEL;噪声字段忽略;禁止访问触达驱动失效。
  3. Change Stream 独立 worker + 可持久化 resume token;失败重放 DEL(幂等便宜)。
  4. 默认不要用 updateLookup 做失效;TTL 是兜底,不是唯一正确性来源。
  5. 有 L1 时单独谈多实例窗口;只清 Redis 不等于清光本机便利贴。
  6. 观测:hit/miss(含空态语义)、失效 QPS、噪声事件占比、失效链是否回表。

相关阅读:两级缓存约定见 /blog/ristretto_redis_two_tier_cache/;读路径别写库见 /blog/read_path_must_not_write/;缓存三态(零 vs miss)见 /blog/unread_count_collscan_and_zero_cache_miss/;热计数写后缓冲见 /blog/redis_write_behind_hot_counters/。

下一步(调研向):列出「展示字段」与「噪声字段」清单 → 对失效 worker 打点「噪声跳过 / 真 DEL / 是否回表」→ 压测时对比「仅 TTL」「写路径双删」「Stream→DEL」三条线的脏读窗口与源库 QPS → 再决定 A+C 是否够用,或写入口够少改走 B。正确性与放大一起验收,不要只看命中率平均值。

读完若只能转发一句,请转发这句:读用 cache-aside 回填;失效只撕标签(DEL);别让 Change Stream 为了撕标签去搬整箱货。