Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry:一条遥测数据怎样流动

Hello,我是小兔大白糖。 Grafana 面板出现 No data 时,最浪费时间的做法是先改 Dashboard:换查询、重启 Grafana、扩大时间范围,然后等待数据自己回来。
更可靠的办法,是先回答四个问题:
- 信号由谁产生?
- 采集层通过 Pull 还是 Push 收到它?
- 哪个后端负责存储和查询?
- 数据在哪个边界可能被拒绝、丢弃或改写?
这篇沿用系列导读中的示例业务链路,把 Prometheus、Grafana Alloy、Loki、Tempo、OpenTelemetry 与 Grafana 逐个放回正确位置。重点不是背组件名,而是建立一条可以逐跳验证的数据链。
【示例场景·合成数据】
文中的服务、故障、配置名和数值均为教学示例。所有域名、账号、区域、规格、资源名、容量和成本信息都已省略。
估计阅读时间:22 分钟
目录
- 先看结论:采集、存储、查询是三件事
- 四条数据流怎样并行工作
- 指标路径一:Prometheus Pull
- 指标路径二:OTLP Push 与 Remote Write
- 日志路径:Pod stdout 到 Loki
- Trace 路径:OTel SDK 到 Tempo
- Tempo Metrics Generator 为什么特殊
- Grafana 与 Alertmanager 位于消费端
- No data 怎样逐跳定位
- 常见误判
- 小结
先看结论:采集、存储、查询是三件事
Grafana 是查询与展示入口,不是默认采集器;OpenTelemetry 是遥测标准和采集框架,不是存储。
【示例架构·当前实现】
示例架构使用 Prometheus 保存指标,Loki 保存日志,Tempo 保存 Trace。Grafana Alloy 接收 OTLP、采集 Kubernetes 日志并转发;Grafana 查询三个后端;Prometheus Rules 产生告警后交给 Alertmanager 路由。
先用一张表钉住边界:
| 层次 | 组件示例 | 主要职责 |
|---|---|---|
| 生产 | 应用、OpenTelemetry SDK、Exporter | 在代码或系统边界产生遥测信号 |
| 发现与采集 | Prometheus、ServiceMonitor、Alloy | 找到目标,接收、拉取、处理和转发 |
| 存储与查询 | Prometheus、Loki、Tempo | 保存对应信号并提供查询能力 |
| 消费 | Grafana、Prometheus Rules、Alertmanager | 展示、规则评估、分组和通知 |
组件可以替换,但层次不能省略。把 OpenTelemetry 当成 Trace 数据库,或者把 Grafana 当成指标采集器,都会让故障边界变得模糊。
四条数据流怎样并行工作
Pull、OTLP、日志采集和 Trace 派生指标是四条独立链路,不应被画成一根万能管道。
示例架构中同时存在四条主路径:
- 应用和 Exporter 暴露
/metrics,Prometheus 定时拉取; - 应用写 stdout/stderr,节点上的 Alloy 采集后推送到 Loki;
- 应用通过 OTLP 推送 Trace,Alloy 处理后转发给 Tempo;
- 应用也可以通过 OTLP 发送 Metrics,由 Alloy 转换后 remote write 到指标后端。
Tempo Metrics Generator 还会从进入 Tempo ingestion path 的 Span 派生指标,再 remote write 到 Prometheus 兼容后端。
| 路径 | 方向 | 失败时先看哪里 |
|---|---|---|
/metrics | Prometheus 主动 Pull | Target discovery、网络、HTTP 响应 |
| OTLP Metrics/Traces | 应用主动 Push | SDK exporter、Alloy receiver、发送队列 |
| Kubernetes Logs | 节点 Agent 读取并 Push | 日志文件、发现、解析、Loki 写入 |
| 派生指标 | Tempo ingestion path 处理后写出 | Processor 启用状态、采样、remote write |
这四条路径共享一些标签和资源属性,但它们的可靠性合同并不相同。Prometheus 可以通过 up 直接判断抓取目标是否可达;Push 链路则需要采集层自身的 accepted、refused、queue 和 send failed 等内部指标补足反馈。
指标路径一:Prometheus Pull
应用负责暴露指标,ServiceMonitor 负责声明发现规则,Prometheus 才负责真正发起抓取。
应用只负责产生和暴露
以 Go HTTP 服务为例,业务中间件记录 Counter、Histogram 和 Gauge,标准 Handler 负责生成 Prometheus exposition:
package main
import (
"net/http"
"github.com/prometheus/client_golang/prometheus/promhttp"
)
func registerMetricsEndpoint() {
http.Handle("/metrics", promhttp.Handler())
}这个 Handler 不会主动把数据送给 Grafana,也不会自动注册 Kubernetes 采集目标。它只是在收到 HTTP 请求时,把当前进程内的指标编码为标准格式。
应用指标如何命名、怎样选择 Histogram Bucket,以及为什么不要手写 exposition,会在系列第 02 篇展开。
ServiceMonitor 只负责声明发现规则
Prometheus Operator 读取 ServiceMonitor,并把匹配结果转换成 Prometheus 抓取配置。下面是最小教学示例:
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: example-core-api
spec:
selector:
matchLabels:
app.kubernetes.io/name: core-api
endpoints:
- port: metrics
path: /metrics
interval: 30s这里的 port: metrics 指向 Service 的端口名,不是随手填写的容器端口数字。完整匹配链是:
Prometheus serviceMonitorSelector → ServiceMonitor → Service labels → Service port → Endpoints/EndpointSlice → Pod → /metrics
任意一处不匹配,应用即使能返回 /metrics,Prometheus Targets 中也不会出现这个目标。
Prometheus 负责拉取、保存和评估
Prometheus 定时发送 HTTP 请求,把样本写入 TSDB,并执行 PromQL、Recording Rule 和 Alerting Rule。验证时先查原始信号:
up{service="core-api"}如果目标存在但 up 为 0,重点检查网络、TLS、认证、端口和 Handler 响应。如果目标根本不存在,优先检查 Operator 选择器与 ServiceMonitor 匹配链,不要先改 PromQL。
Pull 也有边界。短生命周期 Batch Job、跨网络环境和多集群系统,可能需要 Pushgateway、Agent、remote write、联邦或其他方案。选择之前应先明确任务生命周期和数据丢失容忍度。
指标路径二:OTLP Push 与 Remote Write
OTLP 是应用到采集层的遥测协议,Prometheus remote write 是采集层到指标后端的写入协议;它们处于不同链路。
OpenTelemetry SDK 可以在应用内产生 Metrics,通过 OTLP gRPC 或 HTTP 推给 Alloy。Alloy 的典型链路是:
OTel SDK → otelcol.receiver.otlp → processor → otelcol.exporter.prometheus → prometheus.remote_write → 后端
这里的 otelcol.exporter.prometheus 是 Alloy 的 OTLP 到 Prometheus 数据模型转换桥,不是 Remote Write 客户端,也不是上游 OpenTelemetry Collector 中同名 Exporter 的等价实现。真正发出 Remote Write 的是后面的 prometheus.remote_write。
这个转换桥会丢弃 Delta Temporality 指标。若上游 SDK 或 Receiver 可能产生 Delta 数据,应先经过 otelcol.processor.deltatocumulative,再验证 Counter Reset、Histogram、Resource 属性和 Label 映射。原生 OpenTelemetry Collector 发行版可能改用 Prometheus Remote Write Exporter,或暴露 Prometheus Endpoint 供抓取;具体组件名和 Temporality 支持必须按所用发行版与版本核对。
如果 Remote Write 的接收端是 Prometheus 本体,需要显式启用 remote write receiver;如果接收端是其他 Prometheus 兼容后端,则按对应产品的接收接口配置。不同路径不要叠加到同一组时序上。
Prometheus 官方文档同时提醒:内置 receiver 不适合替代常规 Scrape,把 Prometheus 整体改造成通用 Push 接收系统。高吞吐或长期远端写入应评估专门的 Prometheus 兼容后端,而不是只看协议能否连通。
【经验建议】
Pull 与 OTLP Metrics 可以在迁移期并存,但同一指标应只有一个明确所有者。若应用既暴露同一时序,又通过 OTLP 发送同一时序,重复摄入会让请求量和告警结果失真,并增加存储成本。
判断指标走哪条链路,可以看两个条件:
- 应用是否天然提供稳定、可抓取的 HTTP 端点;
- 指标是否需要与 OpenTelemetry 的 Resource、Exemplar 和统一采集管道协作。
这里没有适用于所有系统的唯一答案。关键是不要让同一个指标在两条路径中重复,也不要让团队无法说明它的事实源。
日志路径:Pod stdout 到 Loki
应用优先写结构化日志到 stdout/stderr,采集 Agent 负责发现、解析、缓冲和转发。
在 Kubernetes 中,容器运行时把 stdout/stderr 写成节点日志。以 DaemonSet 运行的 Alloy 通常在每个节点完成以下工作:
- 发现 Pod 和容器;
- 读取容器日志;
- 解析 CRI 格式和必要的多行内容;
- 补充 namespace、service、container、environment 等稳定标签;
- 批量推送到 Loki。
应用直接调用 Loki API 并非做不到,但业务代码随后要承担重试、缓冲、认证、限流和后端故障处理。节点 Agent 能把这些策略集中管理,代价是 Agent 自身也需要资源预算、权限控制和自监控。
Loki Label 要保持低基数。namespace、service_name、environment 通常适合作为索引标签;trace_id、request_id、任务 ID 和用户 ID 不适合直接成为 Label,应留在日志字段或 Structured Metadata 中。
一个最小 LogQL 验证可以从稳定标签开始:
{service_name="core-api"} | json | trace_id != ""如果按稳定标签都查不到日志,先检查发现、读取和写入链路。不要一开始就依赖全文搜索,因为它无法告诉你日志究竟没有产生,还是被采集层丢掉。
Trace 路径:OTel SDK 到 Tempo
Trace 的主线是上下文传播:SDK 创建 Span,采集层处理,Tempo 保存;Operator 不必成为每条数据的中转站。
应用内的 OpenTelemetry SDK 创建 Span,并通过 W3C Trace Context 在 HTTP、RPC 或消息中注入和提取上下文。Span 通过 OTLP 到达 Alloy 后,可以经过:
memory_limiter:在采集层接近内存上限时限制接收;batch:合并发送,降低网络和后端写入开销;- resource processor:补充或规范
service.name、环境等属性; - filter 或 tail sampling:按规则丢弃或保留 Span;
- exporter sending queue 与 retry:应对下游短暂失败。
处理后的 Trace 通过 OTLP 写入 Tempo。Grafana 再通过 Trace ID 或 TraceQL 查询。
OpenTelemetry Operator 主要管理 Collector、自定义资源和自动注入。若应用 SDK 直接把 OTLP 发送给 Alloy,Operator 不会自动成为每个 Span 的必经代理;它也不负责长期存储。
【目标设计】
后续关联篇会统一service.name、环境属性和 Trace Context,并把trace_id写入结构化日志。目标是从指标异常进入 Trace,再定位到同一次请求的日志;本篇只建立数据流边界。
Tempo Metrics Generator 为什么特殊
Metrics Generator 从进入 Tempo ingestion path 的 Span 派生指标,不是定时扫描历史 Trace 来补一份全量统计。
它通常可以生成:
- Span Metrics:调用次数、错误和时延分布;
- Service Graph Metrics:服务之间的调用边。
结果通过 Prometheus remote write 进入指标后端,再由 Grafana 使用 PromQL 展示。
Tempo 不同主版本的内部接入路径可能变化。本文和配图统一抽象为 Tempo ingestion path;落地时应对照部署版本确认 Metrics Generator 的输入、队列和失败指标。
这个能力适合快速补齐跨服务拓扑和相对趋势,但有三个边界:
- 对应 Processor 需要启用,不能假设安装 Tempo 后自动出现所有派生指标;
- 只处理进入生成路径的 Span,不会自动为旧 Trace 回填指标;
- 只要 Span 在到达生成器前被采样或丢弃,派生计数就不再天然代表全流量。
因此,全流量 API RED 通常仍由应用或入口指标承担;Trace 派生指标更适合拓扑、相对趋势和深挖。是否能用于告警,要根据采样位置和采样策略判断。
Grafana 与 Alertmanager 位于消费端
Grafana 组合查询,Alertmanager 处理告警实例;二者都不能替代上游信号生产和存储。
Grafana 配置 Prometheus、Loki 和 Tempo Data Source 后,可以:
- 用 PromQL 展示指标;
- 用 LogQL 查日志;
- 用 TraceQL 或 Trace ID 查链路;
- 用 Data Link、Derived Field 或 Exemplar 在信号间跳转。
Grafana 默认不保存这些遥测数据。Dashboard JSON 只是查询和展示定义。把 Dashboard 导出备份,并不等于备份了 Prometheus、Loki 或 Tempo 中的数据。
Prometheus 根据规则生成告警实例后,将其发送给 Alertmanager。Alertmanager 负责去重、分组、抑制、静默和通知路由,不负责计算 PromQL。Grafana Alerting 也可以评估规则,但一套体系应明确规则事实源,避免同一故障从两套系统重复通知。
组件边界可以压缩成下面这张表:
| 组件 | 主要输入 | 主要输出 | 不负责 |
|---|---|---|---|
| OTel SDK | 应用调用与上下文 | OTLP 遥测 | 长期存储 |
| OTel Operator | Kubernetes CR 与注入配置 | Collector 或自动埋点注入 | Dashboard |
| Alloy | OTLP、Kubernetes 日志 | Loki、Tempo、指标后端 | 业务数据真相 |
| ServiceMonitor | 选择器与端点声明 | Prometheus 抓取配置 | 创建 Service 或实际抓取 |
| Prometheus | /metrics、remote write | PromQL、规则、告警 | 日志和 Trace 存储 |
| Loki | 日志流 | LogQL 结果 | 指标 TSDB |
| Tempo | Span | Trace 查询 | 全流量计数保证 |
| Grafana | Data Source 查询 | Dashboard 与 Explore | 默认采集和存储 |
| Alertmanager | 告警实例 | 分组后的通知 | 评估 PromQL |
No data 怎样逐跳定位
不要从 Dashboard 反向猜原因;从生产者到消费者逐跳验证,能把模糊的 No data 缩小到一个具体边界。
第一步:排除查询层问题
先确认 Grafana Data Source Health、时间范围、时区、环境变量和 Dashboard 变量。随后绕过复杂面板,直接查询一个原始指标或稳定日志标签。
如果原始信号存在,问题多半在 Dashboard、Recording Rule 或变量;如果原始信号不存在,再继续向上游走。
第二步:验证生产者
指标路径可以直接访问教学服务端点:
curl -fsS http://core-api:8080/metrics日志路径确认应用确实写入 stdout/stderr;Trace 路径确认 SDK 创建了 Span、Exporter 没有持续报错,并且上下文没有在入口处断开。
第三步:验证采集层
对 Prometheus Pull,检查:
- Prometheus 是否选择了对应 ServiceMonitor;
- Targets 中是否出现目标;
- 目标是
UP还是抓取失败; - Service Label、端口名、路径、认证和网络是否匹配。
对 Alloy Push 与日志采集,检查:
- receiver 或日志 source 是否已发现数据;
- accepted 与 refused 是否异常;
- 发送队列是否持续增长;
- exporter 是否持续发送失败。
内部指标的精确名称可能随 Alloy 组件和版本变化,应以当前版本官方文档和组件调试界面为准。
第四步:验证存储后端
采集层已经接收,不等于后端已经持久化。继续检查:
- Loki 或 Tempo 是否拒绝写入;
- 认证、租户和资源属性是否一致;
- 队列、限流和对象存储是否异常;
- 查询是否使用了正确标签、时间范围和环境。
采集系统也需要自监控。否则 Alloy 队列满了、Prometheus remote write 积压了、通知链路断了,业务 Dashboard 只会安静地少一块数据。
【示例场景·合成数据】
core-api的请求面板突然为空,但 Pod 仍然 Ready。直接访问/metrics返回 200;Prometheus Targets 中却没有该服务。继续核对后发现,ServiceMonitor 选择app.kubernetes.io/name: core-api,Service 使用了另一个教学标签。修正声明后,Target 出现并变为UP,原始 Counter 随后恢复。这个问题位于发现层,与业务埋点和 Grafana 重启无关。
常见误判
多数误判都来自把相邻组件的职责混在一起,或者忽略采样、队列和标签基数的边界。
-
应用有
/metrics,就认为 Prometheus 已采集
暴露端点只是第一步。Operator 选择器、Service、端口和网络必须全部连通。 -
ServiceMonitor 会主动抓取数据
它只声明发现规则。真正发 HTTP 请求的是 Prometheus。 -
OpenTelemetry 等于 Trace 数据库
SDK、协议和 Collector 负责遥测产生与传输,Tempo 等后端才负责保存。 -
Grafana 没图就是 Grafana 故障
Grafana 可能只是忠实展示上游的空结果。应先查询原始信号。 -
Trace 派生指标等于全流量指标
采样位置决定计数是否完整。没有说明采样策略,就不能把派生请求量当作精确事实。 -
把
trace_id放进 Loki Label 更方便
每个 Trace ID 几乎都不同,会制造高基数。它应保留在日志字段或 Structured Metadata 中。 -
Pull 和 OTLP 同时发送更保险
若两条路径拥有同一指标,结果可能是重复摄入,而不是双保险。
小结
一条遥测数据链必须说清生产者、传输方式、采集层、存储后端、查询入口和失败边界。
- 应用暴露指标不等于 Prometheus 已抓取;ServiceMonitor 只声明发现规则;
- OTLP 与 remote write 位于不同链路,Pull 与 Push 并存时要明确指标所有权;
- Alloy 负责接收、处理和转发,Loki、Tempo、Prometheus 分别负责对应信号;
- Tempo 派生指标受采样位置影响,不能无条件替代全流量 RED;
- 排查
No data时,从生产者向消费者逐跳验证,比先改 Dashboard 更快。
下一篇将进入应用服务层:用 Go Prometheus Client 统一 HTTP RED、Histogram、标签合同和 ServiceMonitor,并拆解手写 exposition 与采集标签冲突造成的 exported_* 前缀。
公开参考
- Prometheus Overview
- Prometheus Storage:Remote Write Receiver
- Prometheus Operator:Getting Started
- OpenTelemetry Collector Architecture
- OpenTelemetry Collector Configuration
- OpenTelemetry Operator for Kubernetes
- Grafana Alloy:Collect OpenTelemetry data and forward to the LGTM stack
- Grafana Alloy:otelcol.exporter.prometheus
- Grafana Alloy:Collect logs in Kubernetes
- Grafana Loki Labels
- Grafana Tempo Metrics Generator
- Grafana Tempo Service Graphs