Mongo 慢查询别自嗨:形状排名 + 请求级 OTel 合计

Hello,我是小兔大白糖。 托管慢日志 Top50「全修了」,接口 P95 还是抖——现场最常见的自嗨,是把单条命令最大耗时当成了一次请求的 DB 预算,或把慢样本分布当成全流量延迟。
写成这篇,给要做 MongoDB 查询性能审计心智模型 调研的初中级后端同学:慢日志管形状(规范化查询模式)排名,OpenTelemetry(下文 OTel)管请求生命周期内 Mongo 命令合计;两者分工,禁止混表自称达标。
说明:窗口、阈值、工具名与伪查询均为教学脱敏 / 示意。文中「示例合同」数字不是行业标准,也不是某集群 SLA。不写厂商内幕,也不写某工单 / 某集群 runbook。同站分工:Span Attributes 基数与隐私 管「挂什么」;读偏好卸载 管「读哪边」——本文只管怎么量、怎么排序、怎么不说谎。
估计阅读时间:11 分钟
目录
为什么现在要关心
硬规则一:慢日志 ≠ 全流量——只看见被采样的慢形状;覆盖率与截断必须写进报告。
硬规则二:API 延迟合同看「请求生命周期内 DB CLIENT span 合计」,不是单 op 的 max,也不是只用 HTTP 墙钟冒充。(具体埋点是否每条命令一个 CLIENT span、getMore / 重试如何挂树,以你选用的 instrumentation 与 semconv 为准;原则是:合计口径要写死,禁止 silently 换尺子。)
「慢查询修好了」这句话,现场常混了三件不同的事:
| 你以为在证明 | 实际量到的往往是 |
|---|---|
| 接口 DB 预算达标 | 慢日志里几条重命令的 max ms 下降 |
| 全站 P95 变好 | 慢样本直方图好看了 |
| N+1 已消 | 单条都没超阈值——合计没人看 |
心智模型一句话:慢日志像交警只拍超速车;请求级 OTel 合计像一次出车的油耗小票加总。 拍违章解释不了「这一趟油耗为什么爆」——类比局限:只解释证据怎么诚实;解释不了具体索引选型,也解释不了业务语义能不能改。
问题空间:绿了还慢
先问「我手里的证据回答的是哪一题」;答错题,修满 Top50 也会像在治错病。
| 你看到的 | 常见真相 |
|---|---|
| 慢日志绿了,接口仍抖 | 大量快查询堆成 N+1;慢日志看不见 |
| 「P95 < 阈值」写进周报 | 用慢样本或单 op 直方图冒充请求级合计 |
| Top50 越修越长 | 没有 currentity(近窗口是否仍发生);历史 max 当永远 P0 |
| getMore 被忽略 | 游标后续页是同一逻辑成本的一部分 |
| 后台 job 拖垮共享集群 | Type C;不应计入 HTTP API P95 合同 |
非目标先钉死(可贴在评审页顶上):
- 不把「审计报告写完」当成「目标已达成」。
- 不把自动索引建议直接当 P0 定论——那是未验证候选。
- 不把原查询字面量 / 密钥写进 git 或公开报告。
心智模型:超速拍照 vs 油耗小票
主比喻:出车审计。
| 类比 | 含义 | 适合回答 |
|---|---|---|
| 交警拍超速(只拍违章车) | 慢日志 形状 / 规范化查询模式 排名 | 谁在重扫 / 重排序 / 无界聚合 |
| 对一次出车的油耗小票加总 | 请求内 Mongo CLIENT span 合计 | 这一趟 API 的 DB 预算够不够 |
| 修路工单按「仍在堵 + 伤公共资源」排序 | Top-N 治理 backlog | 先修什么,而不是机械修满 Top50 |
两张证据表必须分开标:
- 墙钟 duration 排行——单条重命令、单次 HTTP 体感。
mongoCommandSum(教学名:请求内 Mongo span duration 之和)排行——抓 Type A 放大。
禁止混一桌、禁止用其中一张自称「另一张也过了」。看板落地前先冻结 duration 单位(ms / ns / 秒),避免与 APM 混表。
三类问题:Type A / B / C
用放大 / 重扫 / 后台争用三分法归因;同一 backlog 里不要用同一把尺子量三类病。
| 类型 | 形态 | 慢日志常看到? | 请求级合计常看到? |
|---|---|---|---|
| Type A 放大 | 多条快命令 → 高合计(N+1、重复 enrich) | 常常没有(单条未超阈值) | 是(sum(duration) 爆) |
| Type B 重扫 | 单条重 scan / sort / 无界聚合 | 是(形状上榜) | 可能是(一条就够重) |
| Type C 后台争用 | worker / cron 与在线共享连接池 / 集群资源 | 可能上榜 | 不应计入 HTTP API 合同 |
硬规则三:N+1 往往没有单条 > 阈值——要看 sum(duration) 放大类(Type A)。
硬规则四:后台争用(Type C)可以伤共享资源,但不要拿它冒充「用户 API 的 DB P95」。
证据组合:业界常见做法
调研默认:慢形状排名 + 请求内 DB 合计;缺一侧就写明覆盖缺口,禁止假装「无 DB 工作」。
| 模式 | 做法 | 优点 | 代价 / 边界 |
|---|---|---|---|
| A. 只看慢日志 | 按形状排 max ms | 便宜;抓 Type B 重扫 | 漏 Type A;非全流量;受采样与截断约束 |
| B. 只看 HTTP P95 | 网关 / APM 墙钟 | 贴近用户体感 | 分不清 DB / 下游 / 业务逻辑 |
| C. 慢形状 + 请求内 DB 合计 | profiler / 慢日志 shape + OTel sum;分表;Top-N 治理 | 能抓 A/B;合同可核对 | 要仪器化;窗口与保留期要冻;脱敏有成本 |
示例合同(示意,非行业标准):按规范化路由,请求链上 Mongo CLIENT span 合计 P95 < 某阈值(示意如 200ms)——含 getMore、失败重试;父子不重复计;Redis / SQL 另立预算。
缺 OTel 的服务:在报告里写「覆盖缺口」,而不是写「本服务无 DB 成本」。仪器化本身也有代价——span 量、Attributes 基数与账单;挂载边界见 Attributes 文。读路径卸到 Secondary 换余量,则见 读偏好文——那是减负旋钮,不是本文的审计尺子。
可复述审计漏斗
七步漏斗:冻窗口 → 形状排名 → 合计与单条分表 → 归因分型 → Top-N → 交付边界 → 小批重测。
-
冻结窗口与单位
慢日志 / Trace 同一时间窗;写清 ms vs ns vs 秒,禁止混单位拼表。 -
导出慢日志 → 按形状聚合
Top 与「近 24h 仍出现」分列;记采样、截断与覆盖率——硬规则一写进报告正文,不要塞脚注。 -
Trace 两张表分开发布
单条重命令列表 与sum(duration)放大列表——对应 Type B 与 Type A;禁止混表。 -
归因到路由或 worker
打 Type A / B / C;后台任务进 Type C 列,不进 HTTP API 合同列。 -
编 Top-N 治理项
优先「仍发生 + 伤共享资源」;合并同根因;不要用空行凑满 50。 -
交付三件套
结论 + 方法边界 + 脱敏证据;明确 audit ≠ goal met。 -
小批修复后重测
自动索引建议单独验证语义等价后再谈上线;审计完成 ≠ 可以改生产索引。
教学伪查询(非某集群 DSL 定稿;示意过滤器思路;单位自行冻结):
# A: 单条重 Mongo span(偏 Type B)
{ db.system = mongodb && duration > threshold }
# B: 请求内合计放大(偏 Type A)
{ db.system = mongodb } | sum(duration) > threshold # per request只读审计边界:报告脱敏;原查询字面量、连接串、密钥不入库、不进 git。
常见坑
从证据诚实度看,下面几条会把「审计完成」直接写成「目标达成」。
-
用慢样本宣称全站 API P95
慢日志是条件样本;覆盖率未写 = 结论不可转发。 -
近 24h 列表用空行凑满 Top50
backlog 长度不是 KPI;currentity 才是。 -
墙钟与 mongoSum 混在一张表且不标注
读者会以为两列同一合同——这是最常见的「看起来专业、实际说谎」。 -
原查询字符串 / 密钥进仓库或公开文档
只读审计的底线;泄漏一次,审计流程本身变成事故。 -
「执行计划显示用了索引」就当高效
有索引 ≠ 走对前缀;regex、错前缀、内存排序另说——仍要看 explain / 等价执行计划证据。 -
审计完直接改生产索引,跳过语义等价验证
未验证候选上线,可能换一种更贵的写放大或锁竞争。 -
把 Type C 后台争用塞进用户 API 的 P95 合同
修了 cron 却声称「接口达标」,或反过来用接口合同掩盖后台打满——两边都会误导排期。
选型结论
- 证据组合默认「慢形状 + 请求级合计」;合同钉合计,不钉单 op max。
- 用 Type A / B / C 归因;治理 Top-N 看 currentity,不机械修满历史 Top50。
- 两张表分开标:墙钟排行 ≠ mongoCommandSum 排行;禁止混一桌自称达标。
- audit ≠ goal met;索引建议是未验证候选;小批修复后重测。
- 与同站两篇分工:Attributes 管挂载与基数;读偏好管读落点;本文管诚实尺子——怎么量、怎么排序、怎么交付边界。
读完若只能带走两句,请带走这两句:慢日志负责形状排名;OTel 负责请求内合计。 缺哪一侧,就在报告里写缺口——比假装「已经全绿」更值钱。