业务 Counter 不是账本:实时告警与数据库对账怎么分工

业务 Counter 不是账本:实时告警与数据库对账怎么分工

Hello,我是小兔大白糖。 Dashboard 显示任务完成量突然下降,数据库里的记录数却还在增加。到底该信 Prometheus Counter,还是重新跑一条 SQL?

答案不是二选一。业务 Counter 负责尽快发现变化,数据库、事件账本和数仓负责还原最终事实。 两边数字短时间不一致,未必是谁错了;它们可能本来就在统计不同状态、不同时间窗口。

这篇写给已经在维护 Prometheus、业务数据库或异步任务链路的中高级后端、SRE 和 DevOps 工程师。我们重点解决六个问题:状态转换在哪里计数、怎样控制标签基数、Counter 为什么不能对账、异步完成率为什么会失真、什么 SQL 可以做 Probe,以及三层业务观测怎样协作。

【示例场景·合成数据】
文中的任务、服务、故障、指标名和数值均为教学示例,不对应任何组织、产品或真实事件。

估计阅读时间:15 分钟


目录


先给结论:两条路径回答不同问题

业务指标回答“现在是否异常”,数据库或数仓回答“最终发生了什么”。

同一句“成功创建了多少任务”,至少可能有两种含义:

  • 值班同学问的是:最近 5 分钟创建速率是否归零,拒绝原因是否突增;
  • 运营或财务问的是:昨天最终有多少有效任务,哪些需要结算或补偿。

前者需要秒到分钟级反馈,允许围绕趋势和窗口做近似判断。后者要求记录可追溯、规则可重算,还要处理撤销、软删除、状态回写和时区。

维度应用内 Counter数据库、事件账本或数仓
主要目标实时健康、趋势、告警对账、审计、报表、补偿
常见延迟秒到分钟分钟到天,取决于链路
历史重算不擅长可以按新规则重算
查询维度少量低基数枚举高维分析与单条追踪
进程重启影响需要由查询处理 reset由持久化模型决定
精确账单不适合适合

【经验建议】
先给每个问题指定事实来源,再决定采集方式。不要因为 Grafana 查询方便,就把经营口径塞进 Prometheus;也不要因为数据库数字精确,就让告警每 15 秒扫描一次业务表。

状态转换在哪里发生,就在哪里计数

Counter 的触发位置就是它的业务语义;attempted、created、dispatched 和 completed 不能都叫 success。

以异步任务为例,一次请求可能依次经过这些状态:

  1. API 收到请求,记录 attempted;
  2. 校验通过并提交数据库事务,记录 created;
  3. 消息代理确认接收事件,记录 dispatched;
  4. Worker 取得任务,记录 started;
  5. Worker 提交最终结果,记录 completed 或 failed。
异步任务链路中 attempted、created、dispatched、started 与 completed 的计数位置
异步任务链路中 attempted、created、dispatched、started 与 completed 的计数位置 · 点击查看 SVG 原图

这些计数不能互相替代。HTTP 返回 202,只能证明 API 接受了请求;消息发布成功,也不能证明 Worker 最终完成了任务。

下面是一个教学用的最小 Counter。phase、outcome 和 reason 都必须来自受控枚举:

var taskEvents = prometheus.NewCounterVec(
	prometheus.CounterOpts{
		Name: "business_task_events_total",
		Help: "Count of task lifecycle phase outcomes.",
	},
	[]string{"phase", "outcome", "reason"},
)
 
taskEvents.WithLabelValues(
	"create_decision",
	"rejected",
	"quota_exceeded",
).Inc()

计数点还存在一个无法靠命名消除的边界:数据库已经 Commit,但进程在 Inc() 前崩溃,业务记录会存在,Counter 却少一次;反过来,如果先 Inc() 再提交,事务回滚时 Counter 会多一次。

需要可靠传递业务事件时,可以让业务状态和 Transactional Outbox 在同一数据库事务提交,再由 Relay 发布。它缩小了“数据库已写、事件未发”的一致性缺口,但不会把 Prometheus Counter 变成精确账本。

只把有限枚举放进 Label

Prometheus Label 应该用于聚合和筛选,不能用来保存每个实体的身份。

适合做 Label 的值,通常能在评审时列出完整集合:

适合不适合
phase=create_decisiontask_id
outcome=accepteduser_id
reason=quota_exceeded租户名或客户名
channel=email完整错误文本
priority=normal时间戳、URL 原始路径

时序数量由标签组合相乘。假设 6 个事件、3 种结果、8 个原因和 3 个环境,理论上已经有 432 种组合;再加入 10 万个任务 ID,规模会立刻失控。

错误文本也不是稳定枚举。依赖库升级、文案调整或参数变化,都可能制造新时序。更稳妥的做法是把失败归一为 validation_failed、quota_exceeded、dependency_timeout、rate_limited 和 internal_error 等有限原因,把原始错误留在日志或 Trace。

Counter 是健康信号,不是业务账本

Counter 能可靠表达一段时间内的变化趋势,却不承诺逐条、不可变、可审计。

即使指标名和计数位置都正确,它仍然有这些边界:

  • 进程重启会让 Counter 回到较小值,rate() 和 increase() 会按 Counter reset 处理;
  • 抓取间隔内发生并消失的实例,可能留下不完整样本;
  • 重试或重复消费可能重复计数,除非业务分支本身具备明确的幂等语义;
  • 多个 Counter 的更新没有跨指标事务;
  • 指标保留周期、下采样和远端存储策略不等同于审计保留;
  • 你无法从聚合时序反查每一条任务及其证据。

因此,“今天 Counter 增加了 1000”适合描述系统行为趋势,不适合直接生成“今天应结算 1000 单”的账单。

判断一个数据源能不能当账本,可以反问四件事:能否定位单条记录,能否解释撤销和补偿,能否按新规则重算,能否证明历史没有被静默改写。Prometheus Counter 通常不满足这些要求。

异步完成率不能硬除同一个窗口

只要任务可能跨窗口完成,同一段时间的 completed / created 就不是那批任务的最终完成率。

假设 10:00~10:05 创建 100 个任务,其中 60 个在本窗口完成,另外 40 个在 10:05 之后完成。同窗口相除得到 60%。可如果 09:55 创建的 30 个任务也在这个窗口完成,分子又会变成 90,得到 90%。

这两个比例都不能回答“10:00~10:05 创建的任务最终完成了多少”。分子和分母来自不同 Cohort,也就是不同创建批次。

实时监控更适合拆成四组信号:

  • 创建接受率:同一同步决策窗口里的 accepted / create decisions;
  • 处理结果率:在完成事件发生时,看 completed 与 failed 的构成;
  • 积压健康:当前未完成数量、队列深度和最老任务年龄;
  • 处理时长:从创建到完成的端到端 Histogram。

创建接受率可以使用同窗口 PromQL,因为分子、分母来自同一次同步决策:

(
  sum(increase(business_task_events_total{
    phase="create_decision", outcome="accepted"
  }[5m]))
  or on()
  0 * sum(increase(business_task_events_total{
    phase="create_decision"
  }[5m]))
)
/
clamp_min(sum(increase(business_task_events_total{
  phase="create_decision"
}[5m])), 1e-9)

CounterVec 只有在对应标签组合首次被使用后才产生子时序。如果进程启动后所有请求都被拒绝,accepted 可能从未出现;上面的 or on() 0 * 总决策 会在总决策存在时补出 0%,但在总决策也不存在时保留 No Data。固定且数量很少的标签组合也可以在进程启动时预初始化;无流量和采集缺失仍要用独立规则判断。

最终完成率则应按 Cohort 计算。例如把“某天创建的任务”作为分母,等待约定完成期限后,再在数仓统计其中完成、失败和仍未结束的数量。实时 Dashboard 可以展示“当前已完成比例”,但必须同时标注 Cohort 和数据成熟度。

数据库与数仓负责可重算的事实

需要回溯、对账和重新解释历史时,应查询持久化事实,而不是反推 Counter。

数据库适合回答单条任务当前是什么状态、为什么需要补偿。事件账本适合保留状态变化顺序。数仓适合跨服务、跨时间和高维度聚合。

下面是一条教学 SQL,用 completed_at 统计完成发生的时间,而不是把 created_at 误当完成时间:

SELECT status, count(*)
FROM tasks
WHERE completed_at >= $1
  AND completed_at < $2
GROUP BY status;

但“查数据库”也不天然等于准确。你仍要定义:

  • 时间按创建、接受、完成还是结算发生;
  • 时区和窗口边界如何处理;
  • 软删除、撤销、补偿和状态回写是否计入;
  • 单表当前状态,还是不可变状态事件,才是事实来源;
  • 跨库最终一致时,数据成熟到什么程度才出报表。

【示例架构·当前实现】
教学基线把事务数据库用于在线状态,把不可变业务事件或 CDC/ETL 数据送入数仓。实时告警不依赖大范围业务聚合;报表也不从 Prometheus Counter 反推。

SQL Probe 只做便宜、受控的健康检查

数据库监控查询不是绝对禁止,但它只能承担低频、索引友好、失败可隔离的健康探测。

适合的例子包括:

  • 查询最老未处理任务的年龄;
  • 查询专用小表或预聚合表;
  • 在只读副本上验证关键数据是否持续更新;
  • 对单个固定状态做有索引支撑的存在性检查。

下面这类 Probe 可以在合适索引支持下返回一个稳定标量:

SELECT EXTRACT(EPOCH FROM (
  CURRENT_TIMESTAMP - MIN(created_at)
))
FROM tasks
WHERE status = 'pending';

上线前至少要满足这些边界:

  1. 用 EXPLAIN 确认访问路径,并在压测或副本上测最大扫描量;
  2. 使用只读、最小权限账户,优先访问只读副本或汇总表;
  3. 设置短查询超时,限制并发,避免 Probe 堆积连接;
  4. 抓取频率与业务时效匹配,不把 15 秒当默认答案;
  5. 返回固定、低基数的数值和状态,不把查询结果维度直接变成 Label;
  6. Probe 失败时降级为监控缺失,不让重试风暴拖垮主库。

不适合的做法是每隔十几秒全表 count(*)、按客户分组、扫描长时间范围,或让 Dashboard 的自由筛选直接命中主库。经营分析更适合由 CDC/ETL 进入数仓,再交给 BI 查询。

三层业务观测各司其职

Metrics 发现异常,Logs/Traces 定位上下文,数据库/事件/数仓给出精确事实。

Metrics、Logs 与 Traces、数据库与数仓组成的三层业务观测模型
Metrics、Logs 与 Traces、数据库与数仓组成的三层业务观测模型 · 点击查看 SVG 原图

【目标设计】
三层共享稳定的业务语义,但不强求保存同样的数据。Metrics 只保留低基数聚合;Logs/Traces 携带 trace_id、任务 ID 和错误上下文;持久化层保存可查询、可回放或可审计的事实。

层主要问题典型数据不该承担
Metrics什么时候开始异常,影响是否扩大Counter、Histogram、Gauge单条审计与精确账单
Logs/Traces哪一次失败,卡在哪个依赖trace_id、任务 ID、错误上下文全量经营汇总
DB/事件/数仓最终多少,哪些记录受影响当前状态、状态事件、维度事实秒级高频告警

三层不是重复建设。它们以不同成本保存不同粒度的证据,再通过稳定的事件名、时间和关联 ID 串起来。

一次完整排查怎样串起三层

最快的排查不是先跑大 SQL,而是先用指标缩小时间和原因,再用 Trace 与持久化数据确认影响。

【示例场景·合成数据】
10:20 起,created 速率接近归零,但 HTTP 请求量没有下降。

排查可以这样推进:

  1. Metrics 显示 rejected 上升,reason=quota_exceeded 占大多数;
  2. Trace 显示额度依赖返回了新的拒绝结果,应用自身延迟没有明显变化;
  3. 日志用 trace_id 找到一次具体拒绝,确认归一化原因没有映射错误;
  4. 数据库中的少量新任务来自异常前已接受的请求,不与 Counter 趋势矛盾;
  5. 数仓在数据成熟后计算受影响的任务 Cohort 和精确数量。

Counter 在几分钟内发现异常,Trace 和日志解释原因,数据库与数仓确认最终影响面。任何一层单独工作,都很难同时做到快、细和可审计。

上线前给指标补一份语义合同

每个业务指标都应有可评审的语义合同,否则同名 Dashboard 很快会统计不同东西。

建议至少记录:

字段要回答的问题
Owner谁负责定义、变更和告警响应
Event哪个状态转换触发
Labels允许值、默认值和基数上限
Unitcount、seconds 还是 bytes
Source of truth指标、数据库、事件账本还是数仓
Retry semantics重试、幂等和重复消费怎样计数
Window告警窗口与 Cohort 窗口怎样定义
Retention需要保存多久,是否允许下采样

测试至少覆盖成功、拒绝、重试、幂等命中和事务失败。上线后可以比较 Counter 与数据库汇总是否趋势同向,但不要求逐条完全相等;如果必须完全相等,需求本身就在要求一套账本,而不是普通监控指标。

小结

先分清“实时健康”与“精确事实”,业务指标设计才不会同时伤害告警和对账。

  • Counter 在明确的状态转换处更新,attempted、created、dispatched 和 completed 各有语义;
  • Label 只放受控、低基数枚举,实体 ID 和原始错误进入日志、Trace 或数据库;
  • Counter 会受重启、崩溃窗口、重试和保留策略影响,不能充当业务账本;
  • 异步最终完成率要按创建 Cohort 计算,不能机械地用同一窗口 completed / created;
  • SQL Probe 只做低频、索引友好、超时和并发受控的健康检查;
  • 三层业务观测分别负责发现、定位和核实,组合起来才是一条完整证据链。

公开参考