面试题集锦:可观测性

通识对照:分布式链路追踪:Trace、Span 与采样成本合同

面试题集锦:可观测性

Hello,我是小兔大白糖。 这篇整理面试口述与高频追问要点,方便对照站内同主题通识文。


正文

目标岗位:大型加密货币交易所 · 后端(风控方向)
题目数:18 题
核心主题:可观测性三维建设、Prometheus/SkyWalking/ELK、Agent 设计、AI 应用


Q1:介绍一个与可观测性相关的项目

TL;DR

口述模板——用你 某业务 经验:

"我负责 某业务 的 业务 API 网关 服务可观测性建设。我们从零搭建了:
- Metrics:Prometheus + Grafana,核心指标 QPS/延迟/错误率/GC/JVM 线程数
- Tracing:SkyWalking 全链路追踪,解决跨服务定位问题
- Logging:ELK 统一日志平台,按 traceId 串联日志

最大价值:把故障定位从'逐个服务翻日志 30 分钟'缩短到'SkyWalking 3 分钟定位瓶颈'

Q2:什么是可观测性?三维建设

TL;DR

可观测性 = Metrics(知道系统哪里不对劲)→ Tracing(知道是哪个请求链路不对)→ Logging(知道具体哪里报什么错)。三维互补,缺一不可。

类比

🚗 汽车仪表盘:Metrics = 速度表/油量表(告诉你快没油了)。Tracing = GPS 轨迹(告诉你从哪条路过来的)。Logging = 行车记录仪(回放具体发生了什么)。

三维对比

MetricsTracingLogging
问什么"系统健康吗?""这个请求经过了哪些服务?""这行代码执行了什么?"
粒度聚合(QPS/P99)单次请求链路单行日志
存储Prometheus/InfluxDBJaeger/SkyWalking/ESElasticsearch
成本低中(采样)高(量大)
告警✅ 主力⚠️ 辅助❌

记忆锚

"Metrics 告警 → Tracing 定界 → Logging 定位"


Q3:分布式链路追踪——海量 Span 采集/传输/存储/查询

TL;DR

Span 全链路 = 采集(Agent 字节码注入,不侵入代码)→ 传输(gRPC/HTTP → Kafka 削峰)→ 存储(ES 按天索引 + 冷热分离)→ 查询(按 traceId 秒级检索)。

架构

interview observability qa · 图 1
interview observability qa · 图 1 · 点击查看 SVG 原图

采样策略

头部采样(Agent 端):
  - 正常:1% 采样(减少 99% 数据)
  - 错误:100% 采样(错误调用链全保留)
  - 慢请求:P99 以上 100% 采样

尾部采样(Collector 端):
  - 基于业务规则:VIP 用户 100% 采样
  - 基于错误:含 error=true 的 trace 全保留

记忆锚

"Agent 字节码采集 → Kafka 削峰 → ES 按天存储 → 采样降量 99%"


Q4:指标降采样(Downsampling)和滚存(Rollup)

TL;DR

降采样 = 把细粒度数据聚合成粗粒度。策略:原始 1min 保留 7 天 → 聚合 5min 保留 30 天 → 1h 保留 1 年 → 1d 永久。

类比

📸 照片分辨率:原始照片(1min 粒度)存手机,缩略图(5min)存云端,压缩版(1h)存硬盘,只要缩略图(1d)放相框。越久的数据越粗糙,但趋势还在。

策略表

粒度保留期存储量(100 指标)
1min 原始7 天~10GB
5min 聚合30 天~2GB
1h 聚合1 年~500MB
1d 聚合永久~100MB

Prometheus 实现

# recording rules:预聚合
groups:
  - name: risk_rollup
    interval: 5m
    rules:
      - record: risk:check_latency:p99_5m
        expr: histogram_quantile(0.99, rate(risk_check_duration_bucket[5m]))

记忆锚

"1min→5min→1h→1d,越老越粗,降采样金字塔"


Q5:日志实时采集与分析——ELK 架构优化

TL;DR

ELK = Filebeat(采集)→ Kafka(缓冲削峰)→ Logstash/Fluentd(解析清洗)→ ES(存储检索)→ Kibana(可视化)。优化的核心:Kafka 前置(防 ES 写入波动丢日志)。

类比

📬 信件分拣中心:Filebeat = 邮递员收信(采集)。Kafka = 分拣中心传送带(缓冲)。Logstash = 分拣员(格式统一、过滤垃圾)。ES = 信件存档柜(检索)。Kibana = 柜子搜索屏。

优化要点

1. Kafka 前置:Filebeat → Kafka → Logstash → ES
   → ES 挂了/慢了,日志暂存在 Kafka,不丢

2. 索引生命周期(ILM):
   → hot(7天 SSD) → warm(30天 HDD) → cold(90天) → delete

3. 字段裁剪:只保留核心字段(traceId/level/message/timestamp)

4. grok 解析优化:避免复杂正则(CPU 大户)

记忆锚

"Filebeat→Kafka→Logstash→ES,Kafka 前置防丢,ILM 冷热分离"


Q6:多租户可观测性 SaaS 平台设计

TL;DR

多租户 = 数据隔离(按 tenant_id 分 ES 索引或独立集群)+ 资源隔离(租户级限流/配额)+ 权限隔离(RBAC)。核心:不能因为一个租户的打爆 ES 影响其他租户。

隔离方案

级别方案成本隔离度
ES 索引级tenant_id 分区(同一集群不同索引)低中
ES 集群级每租户独立 ES 集群高强
混合VIP 租户独立集群,普通租户共享中中

限流策略

每个租户配额(per-tenant):
  - Span 写入:10 万/分钟
  - Log 写入:1GB/天
  - 存储保留:30 天
  → 超配额 → 拒绝写入 + 告警

记忆锚

"按 tenant_id 索引隔离 + 配额限流 + GDPR 合规"


Q7:eBPF 技术了解

TL;DR

eBPF = 在 Linux 内核中运行沙箱程序,无需修改内核或重启。可观测性应用:网络监控(Cilium)→ 性能分析(火焰图,无侵入)→ 安全监控(Falco 系统调用审计)。

一句话

"eBPF 让你直接在内核层采集指标(如 TCP 重传、系统调用耗时),
不需要应用层埋点。目前主要用于网络和性能分析,完整替代 APM Agent 还不成熟。"

记忆锚

"内核沙箱小程序,无侵入采集,Cilium/Falco 是典型应用"


Q8:分布式行情系统健康度监控

TL;DR

行情系统核心指标:延迟(数据源到用户 P99)、数据质量(丢包率/乱序率)、连接数(WS 连接数+断开率)、吞吐量(tick/s、推送量)。

核心指标

指标含义告警阈值
market_data_lag_ms数据源到推送的端到端延迟> 100ms
tick_drop_rate丢包率> 0.01%
ws_connections_active活跃连接数偏离基线 20%
ws_disconnect_rate断连率> 1%/min
order_book_depth_accuracy订单簿与实际偏差> 0

记忆锚

"延迟+丢包率+连接数+订单簿准确度,四个核心"


Q9:监控 Agent 自身资源控制

TL;DR

Agent 必须不拖累业务应用。手段:CPU 限制(cgroup/低优先级)→ 内存限制(堆外池化、固定大小 RingBuffer)→ 自适应降级(Agent 检测到自己 CPU > 5% 则降低采样率)。

自我限流

// Agent 自检:占用超过阈值 → 自动降级
if (agentCpuUsage > 0.05) {  // 超过 5%
    samplingRate = Math.max(0.001, samplingRate / 2);  // 采样降到一半
}
if (agentHeapUsage > 100 * 1024 * 1024) {  // 超过 100MB
    ringBuffer.resize(ringBuffer.size() / 2);  // 缩小队列
}

记忆锚

"CPU > 5% 降采样,内存 > 100MB 缩队列——Agent 永远不给业务添乱"


Q10:全链路压测 + 数据隔离

TL;DR

全链路压测 = 染色(在请求头打标 x-stress-test: true)→ 流量识别(网关/中间件识别染色标记)→ 数据隔离(压测数据写影子表/影子 Redis)→ 结果对比(压测结果 vs 基线)。

数据隔离方案

DB 层:影子表(order_stress 和 order 结构相同,压测写影子表)
Redis 层:key 前缀隔离(stress:user:123 vs user:123)
MQ 层:影子 topic(risk-events → risk-events-stress)
外部调用:Mock 或 HTTP Header 标识

记忆锚

"请求染色 + 影子表/影子 Key + 流量识别,压测数据绝不污染线上"


Q11:监控告警体系设计——交易系统核心指标

TL;DR

交易系统告警 = 技术指标(CPU/内存/QPS/P99)+ 业务指标(成交率/撤单率/资金对账差异)。业务指标比技术指标更关键——CPU 高可以降级,对账差异是资金安全问题。

业务指标

指标含义告警
trade_success_rate下单成功率< 99.9%
order_book_crossorder book 交叉(买价>卖价)> 0(异常!)
balance_diffDB vs Redis 资金差异> 0.01
withdraw_block_rate提现拦截率异常升高偏离基线 3σ
settlement_delay清算延迟> 5min

记忆锚

"技术指标看健康,业务指标看正确——资金对账差异是 zero-tolerance"


Q12:数据驱动在研发流程中的应用

TL;DR

数据驱动 = 用数据做决策,而非凭感觉。三个层次:性能优化(用 P99 而不是感觉判断"慢不慢")→ 故障预警(用指标偏离基线预测故障)→ 产品决策(用 A/B 测试数据选方案)。

口述版

"我在 某业务 推行的数据驱动实践:
1. 所有优化前先看监控——不是'感觉慢',而是'P99 从 50ms 涨到 200ms'
2. 故障预警:设置基线 ±3σ 告警,而不是等出事了再看
3. 发版质量:对比发版前后 1h 的指标变化,异常自动回滚
4. 容量规划:用 QPS 增长趋势预测扩容时间点,提前 2 周扩容"

Q13:开源可观测性项目启发

TL;DR

SkyWalking(字节码注入 + 插件化架构)→ Prometheus(Pull 模型 + 多维标签 + PromQL)→ OpenTelemetry(统一标准,CNCF 基金会)。核心启发:协议先行(OTLP),实现跟上。

一句话

"SkyWalking 的插件化 Agent 让我学到——核心框架保持稳定,新功能靠插件扩展。
Prometheus 的 Pull 模型让我学到——服务端主动拉比自己被推送更可靠。
OpenTelemetry 告诉我——协议统一比实现统一更重要。"

Q14:全链路追踪方案(SkyWalking)

TL;DR

SkyWalking = Java Agent(byte-buddy 字节码注入)+ gRPC 协议传输 + H2/ES 存储 + OAP(分析平台)。自动采集 Spring/MySQL/Kafka/Redis 的 Span,无需改代码。

一句话

"SkyWalking 通过 Java Agent 字节码注入自动采集链路数据,
支持 Spring Boot/MySQL/Kafka/Redis 等常见组件。
中文社区活跃,适合国内团队。
缺点:对 Go/Python 支持不如 Java 完善。"

Q15:可观测性三维建设实践 → 见 Q2,此处略。


Q16:AI 在可观测性领域的应用

TL;DR

AI 三大落地:异常检测(自动识别指标异常,替代固定阈值)→ 根因分析(告警风暴自动关联根因)→ 智能告警降噪(减少 90% 误报告警)。现状:辅助角色,未来:自动化修复。

具体应用

1. 异常检测:Prometheus 的固定阈值 "P99 > 200ms" 太粗糙
   → AI 用历史数据建模正常模式,自动检测偏离(3σ / 时间序列异常检测)

2. 根因分析:一个 DB 慢导致 10 个服务告警
   → AI 关联告警图谱,识别"根因服务"(依赖链最上游的异常)

3. 告警降噪:每天 1000 条告警
   → AI 聚合归类 → "20 条告警都是因为同一个 DB 慢" → 只发 1 条

记忆锚

"AI 做异常检测+根因分析+告警降噪——现在辅助,未来自动化"


Q17:跨语言可观测性 Agent 数据协议

详见 B10 Q12。精简版:

OpenTelemetry Protocol (OTLP) 是 CNCF 标准:
  - 统一数据模型:Span / Metric / LogRecord
  - 各语言 SDK 实现:Java Agent / Go SDK / Python SDK
  - Collector 统一接收 → 路由到不同后端

Q18:Go 高性能并发数据采集 vs Java → 详见 B11 Q25,此处略。


总结

Metrics (Prometheus) → 健康监控 + 告警
Tracing (SkyWalking) → 链路定位 + 瓶颈分析
Logging (ELK)         → 错误详情 + 上下文关联
Kafka → 日志/Trace 传输的缓冲层,防后端波动丢数据
AI    → 异常检测 + 根因分析 + 告警降噪

下一篇:B15 团队管理 / 软技能(25 题)