
Hello,我是小兔大白糖。 会话列表一页二十个角标,监控却跳出一条扫了十几万文档、跑了数分钟级的聚合——旁边 Redis 命中率「看着还行」,库 QPS 却被「已读会话」一遍遍打穿。第一反应常是「加超时」或「把缓存 TTL 再拉长一点」。
写成这篇,给要做 IM / 消息类「批量未读统计」与计数缓存语义选型调研 的初中级后端同学:钉的是公开可核对的心智模型——管道形状(先缩小候选再分组)、缓存三态(hit 正数 / hit 零 / miss)、以及读路径索引是合同——不是某产品怎么改 DAO 的工单。
说明:文中「十几万文档 / 数分钟级」「一页会话 id 列表」等数字与字段名(如
chat_id)均为教学脱敏 / 示意。$match/$group/$facet/ COLLSCAN /planSummary/docsExamined用 MongoDB 公开概念;Redis 等缓存层只钉「键不存在 ≠ 业务零」的合同。不声称任何厂商「官方内部就是这样」。
估计阅读时间:11 分钟
目录
为什么现在要关心
三条硬规则先钉死——删掉比喻也能复述给同事。
-
批量未读统计:先集合级缩小候选,再聚合。
前置有界$match(按本页会话 / 房间 id 列表)+$group;避免「无前置过滤的$facet,每个分支各自扫全集合」。 -
缓存语义:miss ≠ 业务零值。
把「键不存在」编码成0,业务再把0当 miss,等于已读会话每次都回源——缓存形同虚设,还专门放大慢聚合。 -
索引是合同,不是启动副作用。
读路径依赖的复合键(示意:{ chat_id, _id }或等价水位键)应走迁移 / 运维创建;应用启动 EnsureIndexes 是另一条归属线,见 /blog/db_index_ownership_not_app_startup/。
现场里「角标接口慢了」这句话,常常混了三件不同的事:
| 你看到的现象 | 常见真相 |
|---|---|
单次聚合 docsExamined 上十万、耗时分钟级 | 管道无前置有界过滤,COLLSCAN(集合扫描)或近乎全表 |
| Redis「命中率」不低,库仍被打穿 | 把零值写成 miss;已读会话反复回源 |
| 无关读接口一起抖 | 多条相同慢聚合叠加占满集群——连坐 |
只加 maxTimeMS / 网关超时 | 保险丝让调用方更快失败;根因管道与缓存语义未改 |
同站若已写过无界 $or 扇出与超时分层,那是「批量点查形状」;本文只钉一件事:批量未读的聚合形状,以及计数缓存如何编码「没有」与「就是零」。 无界 $or 见 /blog/mongo_or_fanout_and_csot_timeout/;两级缓存读写约定见 /blog/ristretto_redis_two_tier_cache/。
问题空间:一页角标的诱惑
产品动作很常见:列表页对本页会话批量查未读数,一次返回角标。灾难往往来自「少几轮往返」的聚合写法,再被错误的缓存编码放大。
压力通常叠三层:
- 聚合形状错误 → 优化器走 COLLSCAN 或近乎全表;单次扫描文档量随集合规模涨,不是随「本页会话数」涨。
- 缓存误判 → 已读(业务零)被当成 miss,每次列表刷新都回源打同一条慢聚合。
- QPS 叠加 → 多用户、多 Pod 同时打出形状相同的慢管道,集群 CPU / 锁 / IO 被占满,连坐其它读。
「本页只有 20 个会话」听起来很安全——若管道是「每个会话各开一支 $facet 分支、且分支内没有把候选集压到本页 id」,安全是假象:页大小管的是结果怎么切,不管扫描从哪开始。
心智模型:先定哪几栋楼,再数包裹
主比喻:快递仓库按楼清点未取包裹。
未读计数像「各楼层还没取走的包裹数」。列表页等于「只问这几栋楼」:
- 正确:先按「哪几栋楼」把仓库缩小到有界候选,再按楼汇总件数。
- 错误:每栋楼各自从大门扫到顶楼,再用
$facet把各楼结果拼回去——楼再少,大门到顶楼的路还是整仓。
缓存像门禁条码:
- 空条码(miss):系统不知道件数,允许回源去数。
- 印着「0 件」的条码(hit 零):已经数过,就是零——不要再进仓。
类比局限一句说清:楼宇 / 条码解释「先缩小候选」和「零与 miss 必须可区分」;解释不了具体 $facet 阶段是否共享扫描、某版优化器是否把某条管道改写掉——那些要以 explain / planSummary 为准,不能靠比喻拍板。
精确定义:管道形状、缓存三态、索引合同
先分清三件事——管道形状、缓存编码、索引归属——别混成一句「再优化一下未读」。
| 概念 | 含义 | 常见误读 |
|---|---|---|
有界前置 $match | 先用本页会话 id 的 $in / 有界 $or 把候选压到页级,再 $group | 「最后只要 20 行结果,扫描自然不大」 |
无前置过滤的 $facet | 多分支并行拼结果;若各分支都从全集合起扫,成本随集合涨 | 「$facet 一次返回多组统计,一定更省」 |
| COLLSCAN | 计划走集合扫描(或等价大范围扫);看 planSummary / docsExamined | 「有索引的集合就不会 COLLSCAN」——看的是这条管道用没用上 |
| 缓存三态 | hit(正数) / hit(零) / miss | 用 0 同时表示「没有键」和「计数为零」 |
| 读路径复合索引 | 支撑「按会话键过滤 + 按水位 / _id 有序扫」的合同 | 「启动时 EnsureIndexes 一下就行」 |
教学示意(脱敏,非任何真实集群):
| 信号 | 示意量级 | 读法 |
|---|---|---|
| 本页会话数 | ≈ 20 | 有界;应成为 $match 输入规模 |
单次 docsExamined | 可达十几万 | 扫描跟集合走,不跟页大小走 |
| 聚合耗时 | 可达数分钟级 | 形状问题;超时只能更快失败 |
| 已读会话仍打库 | 每次列表刷新 | 零值被当成 miss |
公开可核对的边界:MongoDB 聚合管道里,尽早 $match 缩小文档集是常规写法;$facet 适合「同一批已过滤文档上做多路汇总」,不是「用多路全表扫代替一次有界过滤」。索引字段名因模型而异——合同是「读路径依赖的键必须事先存在并可被 explain 验证」,不是某个固定 BSON 形状。
缓存侧硬合同(与两级缓存文同一纪律,本文只钉计数语义):
| 状态 | 存储侧怎么表示(示意) | 读路径该做什么 |
|---|---|---|
| miss | 键不存在;或显式 sentinel / 另字段标「未知」 | 允许回源;回源后写入正数或零 |
| hit(零) | 键存在且值为 0(或等价「已确认零」) | 禁止当 miss;直接返回 0 |
| hit(正数) | 键存在且值 > 0 | 直接返回;按失效策略更新 |
用「缺省 0」偷懒,等于把三态压成两态——省掉的是一行编码,付账的是已读会话的反复回源。
教学伪流程(脱敏,非生产 API;合计约十几行):
# 坏:无前置有界 match 的多路 facet(扫描跟全集合走)
aggregate([
{ $facet: { "c1": [ ...扫全表... ], "c2": [ ...扫全表... ], ... } }
])
# 较好:先有界 match,再 group(扫描跟本页 id 走)
aggregate([
{ $match: { chat_id: { $in: page_chat_ids } } }, # 有硬顶:页大小
{ $group: { _id: "$chat_id", unread: { $sum: 1 } } }
# 未读定义按水位/时间窗裁剪——示意,勿照抄字段
])
# 缓存:三态,禁止「缺省 0 + 把 0 当 miss」
GET count(chat):
if !EXISTS(key) → MISS → load_db → SET key, n(含 n=0)→ return n
else → return GET(key) # 含 0,仍是 HIT业界模式对照
读路径短期常用 B + 正确缓存三态;长期评估 C。禁止把 A 当默认,也禁止用「只加超时」假装治好了 A。
| 模式 | 做法 | 代价 |
|---|---|---|
A. $facet 无前置有界 match | 每会话一支管道从全表起扫再拼 | COLLSCAN / 近全表;并发一叠加就炸集群 |
B. 有界 $match($in)+ $group | 先按本页会话 id 过滤再分组 | 需要复合索引;$in / $or 仍必须有界 |
| C. 水位 / 游标落在会话元数据 | 列表读未读不扫消息大表 | 写路径要维护水位;一致性与回放合同更重 |
| D. 缓存存计数 | 挡列表刷新的重复回源 | 必须区分 miss / 零;还要失效与穿透策略 |
没有「最佳实践」口号——只谈账单:
- B 把「跟集合规模走的扫描」换成「跟页大小走的扫描 + 索引合同」。页很大时仍要分批,和 /blog/mongo_or_fanout_and_csot_timeout/ 的有界纪律同一条。
- C 用写路径复杂度换读路径稳定——已读上报本身宜用水位而不是逐条 ID,见 /blog/im_read_receipt_watermark_vs_ids/;热计数写后缓冲见 /blog/redis_write_behind_hot_counters/。
- D 是放大器也是保险丝:编码对了,挡住重复慢查;编码错了,专门把已读流量送进慢查。
- 只加超时 让调用方更快失败,挡不住形状错误的管道占满 CPU——超时是保险丝,不是根治(同超时分层文)。
长期把未读从「扫消息表」迁到「读会话上的水位差」,收益大,但要付:发送侧推进、已读侧单调前进、多端合并、历史回放与修复工具。短期先把 B 和缓存三态做对,往往就能把分钟级聚合打回毫秒~秒级可接受区间(量级因数据与硬件而异,以压测为准)。
常见坑
从架构视角看,下面几条会把「角标慢」修成「更会假装修好了」。
-
Redis miss 写成 0,业务再把 0 当 miss。
已读会话每次列表都回源;命中率指标若只数「返回了数字」,还会显示「挺高」——要单独看「零值命中」与「真 miss」。 -
用昂贵 aggregate 兜底「缺 last_message / 元数据不齐」一类异常路径。
异常变成热路径:缺字段的会话越多,全表聚合被调用得越勤。 -
缺索引时只加超时、不改管道、不补索引合同。
调用方更快 503;集群仍可能被 COLLSCAN 拖死,连坐别人。 -
在应用启动 EnsureIndexes 掩盖运维合同。
多副本抢建、权限半成功、CI 空库「碰巧变绿」——归属问题见 /blog/db_index_ownership_not_app_startup/。 -
把「本页 20 条」当成扫描上界,却把过滤放在管道末尾或内存里。
页大小切的是结果,不是候选集;候选集必须在存储引擎侧尽早被$match有界化。 -
观测只看平均耗时,不看
planSummary/docsExamined/ 缓存三态分桶。
平均被「大多数字段已读很快」拉低时,少数灾难聚合仍能打满集群。
选型结论
- 批量未读:有界
$match→$group;禁止无前置过滤的全表$facet当默认。 - 缓存三态:hit(正数) / hit(零) / miss;禁止「缺省 0 + 把 0 当 miss」。
- 复合索引按读路径手工 / 迁移落地;应用只假设已存在,并用
explain验收。 - 异常路径禁止回退到全表聚合;缺元数据应显式修复或降级,而不是「再扫一遍」。
- 观测:
planSummary、docsExamined、缓存命中率要能分出「零值命中」——否则已读回源会藏在漂亮平均数里。
相关阅读:无界 $or 与超时分层见 /blog/mongo_or_fanout_and_csot_timeout/;L1/L2 读写约定见 /blog/ristretto_redis_two_tier_cache/;已读水位合同见 /blog/im_read_receipt_watermark_vs_ids/;索引 DDL 归属见 /blog/db_index_ownership_not_app_startup/;慢查询怎么量见 /blog/mongodb_otel_query_perf_audit/。
下一步(调研向):对「本页 id 有界 match+group」与「无前置 facet」各跑一次可控对照——盯 CPU、docsExamined、planSummary、连坐接口超时率,以及缓存侧「真 miss vs 零值命中」分桶 → 再决定短期停在 B+D,还是立项把读路径迁到 C(会话水位)。形状与缓存语义一起验收,不要只看「调用方是不是更快报错」。