Kubernetes 资源监控:从 Deployment 下钻到 Pod、HPA 与节点容量

Kubernetes 资源监控:从 Deployment 下钻到 Pod、HPA 与节点容量

Hello,我是小兔大白糖。 接口 P99 已经升高,Grafana 上的 Pod 平均 CPU 却只有 35%。这时到底该加副本、调高 CPU Limit、扩节点,还是先查发布状态?

答案不在单条 CPU 曲线里。Kubernetes 资源监控要先从应用症状定位 Workload,再沿 Deployment、Pod、Container 和 Node 下钻;Usage、Request、Limit 与 Throttle 必须放在同一条时间线上解释。

这篇写给已经在维护 Prometheus、Grafana 或 Kubernetes 的后端、SRE 和 DevOps 工程师。我们重点拆清四组容易混淆的边界:kube-state-metrics、cAdvisor、Node Exporter 与 Metrics Server 分别做什么;Deployment 怎样稳定下钻到临时 Pod;HPA 为什么不等于节点有容量;应用看板怎样加入 Kubernetes 信号,又不替换现有集群看板。

【示例场景·合成数据】
文中的服务名、Workload、指标比例、故障过程和成本均为教学示例,不对应任何组织、集群或真实业务。文章不包含账号、区域、节点名、域名、容量、价格、资源规格或内部 Dashboard 查询。

估计阅读时间:20 分钟


目录

先按“数据源边界 → 下钻路径 → 资源语义 → 扩缩容 → 平台信号 → 成本与看板”阅读,避免把原因和结果混在一起。


先分清四类数据源

kube-state-metrics 看 Kubernetes 对象状态,cAdvisor 看容器实际使用,Node Exporter 看节点操作系统,Metrics Server 为资源 API 提供轻量当前值;四者不能互相替代。

kube-state-metrics、Kubelet cAdvisor、Node Exporter 与 Metrics Server 的职责边界
kube-state-metrics、Kubelet cAdvisor、Node Exporter 与 Metrics Server 的职责边界 · 点击查看 SVG 原图
来源数据从哪里来最适合回答不负责什么
kube-state-metrics监听 Kubernetes API 对象Deployment 副本、Pod Phase、HPA 状态、PVC 绑定、Request/Limit 配置容器此刻实际用了多少 CPU、内存
Kubelet / cAdvisorKubelet 管理的容器与 cgroup 统计Container CPU、内存、文件系统、网络和 ThrottleDeployment 期望副本、HPA 目标
Node ExporterLinux 主机的内核与文件系统接口Node CPU、内存、磁盘、文件系统、网卡Pod 所有权、Request/Limit、Rollout
Metrics Server从 Kubelet 收集近期 CPU、内存资源值kubectl top,以及 HPA 常见的 Resource Metrics API长期历史、PromQL、Recording Rule 和告警存储

kube-state-metrics 的名字容易让人误会。它不读取容器内部,也不计算 CPU 使用率;它只是把 API Server 里已有的对象字段转换成 Prometheus 指标。Deployment 的期望与可用副本、Pod 的 Ready Condition、HPA 的当前与期望副本,都属于这一层。

cAdvisor 在常见 Kubernetes 部署中由 Kubelet 集成。它读取容器 cgroup 与运行时统计,再通过 Kubelet 指标端点暴露。它能说明“实际消耗了什么”,但不知道这个 Pod 属于哪个业务版本,也不知道 Deployment 希望有几个副本。

Node Exporter 通常以 DaemonSet 运行并读取宿主机视角。它看到的是整台 Node 的 CPU 调度、内存、磁盘、文件系统和网卡;它不会自动把这些资源归属到 Deployment。

Metrics Server 走的是另一条路径。它为 metrics.k8s.io 提供轻量的当前资源值,适合 kubectl top 和 HPA 资源指标,不是 Prometheus 的替代品,也不承担历史查询。

因此,“Dashboard 已经能显示 kubectl top 的值”不等于长期监控完整;“kube-state-metrics 已安装”也不等于容器使用量可见。先列问题,再选择数据源。

从 Deployment 下钻,不从随机 Pod 开始

服务由 Workload 管理,Dashboard 就应该先看 Deployment 的可用性与版本,再通过所有权关系下钻 ReplicaSet、Pod 和 Container。

从应用症状沿 Deployment、Pod、Container 下钻到调度与节点容量
从应用症状沿 Deployment、Pod、Container 下钻到调度与节点容量 · 点击查看 SVG 原图

Pod 名会随着发布、重调度和故障恢复变化。把某个 Pod 名写死在变量或查询里,短期方便,长期一定会得到断裂的调查链。更稳定的入口是 environment、namespace、workload 和稳定的应用标签。

一条常见下钻路径是:

  1. 应用症状:先看请求 Rate、Error、Duration 或 Worker 的处理速率、失败与积压;
  2. Deployment:看 desired、updated、ready、available、unavailable replicas,以及新旧 Generation 是否已被 Controller 观察;
  3. ReplicaSet:确认当前版本、旧版本和 Pod 所有权,避免把两个 Rollout 混在一起;
  4. Pod:看 Ready、Scheduled、Pending、重启增量、最近终止原因和调度事件;
  5. Container:看 CPU、内存、文件系统、网络、Throttle、OOM,以及 Request/Limit;
  6. Node:看 allocatable、已请求资源、Pressure、主机资源和可供给余量。

kube-state-metrics 通常用 kube_pod_owner 与 kube_replicaset_owner 一类指标表达所有权。Dashboard 可以通过这条关系把 Deployment 聚合到 Pod,而不是依赖 Pod 名的字符串前缀。

看到的现象能先说明什么还不能直接说明什么
available 小于 desiredWorkload 可用副本不足原因是资源、探针、镜像还是应用启动失败
Pod Ready 为 falsePod 暂时不能接流量应用一定崩溃;也可能是依赖、探针或发布过程
restart Counter 增长容器在窗口内发生重启最近一次终止原因就是这次重启原因
last terminated reason 为 OOMKilled最近一次终止曾经是 OOMOOM 刚刚发生;静态状态可能保留较久
Pod PendingPod 尚未运行节点一定不够;也可能是约束、存储或调度配置

重启告警要使用时间窗口增量,再结合终止原因与事件。只盯当前 Pod 的累计重启数,会在 Pod 被替换后丢掉上下文;只盯最近终止原因,又会把历史状态误报成新事件。

Usage、Request、Limit 与 Throttle 必须一起读

Usage 是实际消耗,Request 是调度与资源保证的基线,Limit 是运行时上限,Throttle 是 CPU 触碰限额后的证据;把四者都叫“配额”会直接误导容量判断。

概念CPU 语义内存语义最常见误判
Usage一段时间实际消耗的 CPU 时间速率当前实际占用,常看 working set,并辅以 RSS、cache平均 Usage 低,所以没有瞬时瓶颈
RequestScheduler 计算放置与 HPA 资源利用率的重要基线Scheduler 计算放置的重要基线Request 是硬上限
Limitcgroup CPU quota;触及后可能被周期性 Throttle接近硬上限时可能触发 cgroup OOMLimit 只是告警阈值
ThrottleCPU 配额周期内被限制运行没有完全对应的同义指标Throttle 比例就是损失的 CPU 百分比

CPU:平均值会藏住短时 Throttle

CPU Usage 常由累计 CPU 秒计算速率。每秒消耗一个 CPU 秒,近似表示使用一个 Core。它可以高于 Request,因为 Request 不是天花板;只要节点还有可用算力,Burstable 容器可以继续运行。

CPU Limit 才会约束可用 CPU 时间。容器在短时 Burst 中反复触碰 Limit,五分钟平均 Usage 仍可能不高,但请求延迟已经升高。此时要把三条线放在一起:

  • CPU Usage / CPU Request:说明实际消耗相对调度基线有多高;
  • CPU Usage / CPU Limit:说明平均消耗离上限多远;
  • throttled periods / total periods:说明多少个 CPU 配额周期发生过 Throttle。

Throttle 周期比例不是“丢失了多少 CPU”的直接百分比。一个周期只要发生过一次 Throttle 就会计入;还要结合 throttled seconds、请求延迟、并发和应用 Profile 判断影响。

没有配置 CPU Limit,不代表 CPU 永远够用。容器仍可能与同一 Node 上的其他负载竞争 CPU。此时 Request、Node 饱和度和调度权重更重要。

内存:Limit 更接近硬顶,Node Pressure 是另一条路径

内存没有与 CPU CFS Throttle 完全相同的通用解释。容器接近或越过内存 Limit 时,内核可能触发 cgroup OOM;即使容器没有触碰自己的 Limit,Node 整体出现 MemoryPressure 时,Kubelet 也可能驱逐 Pod。

所以内存至少要同时看:

  • working set、RSS 与 cache 的构成;
  • Request 与 Limit;
  • 容器 OOMKilled 和重启增量;
  • Node MemoryPressure 与 Eviction;
  • 应用自己的 Heap、GC、native memory、mmap 和 Sidecar。

Go Heap 正常,不代表容器整体内存正常。Sidecar、Cgo、mmap、页缓存和运行时之外的 native allocation,都可能让容器 working set 继续增长。

Request 既影响放置,也会改变 HPA 的解释

Request 不只是成本分摊字段。Scheduler 根据 Pod 的有效 Request 与节点 allocatable 做放置;CPU 型 HPA 使用资源利用率目标时,也会把 CPU Usage 与 Request 比较。

因此,同一份 Usage:

  • Request 调小,HPA 看到的利用率会升高,可能更早扩副本;
  • Request 调大,调度需要更多节点余量,HPA 看到的利用率则可能降低;
  • Limit 调小,短时 Throttle 可能增加,但 HPA 未必立刻看见;
  • 只追求低 Request,可能让节点过度装箱,在流量峰值互相争抢。

Rightsizing 不能只看平均 Usage / Request。在线 API 要保留流量突发与发布余量,Worker 要看队列和并发,JVM/Go 要考虑启动与 GC,滚动发布还要计算同时存在的新旧副本。

HPA 增加副本,节点供给负责放得下

HPA 只改变 Workload 的期望副本数;Scheduler 和节点供给器决定新 Pod 能不能放置,二者必须共享同一条时间轴。

HPA(Horizontal Pod Autoscaler,水平 Pod 自动扩缩)常见输入有三类:

  • Resource Metrics:CPU、内存等 Pod 资源指标,常由 Metrics Server 提供;
  • Custom Metrics:应用或平台自定义的每 Pod / 对象指标;
  • External Metrics:队列深度等来自集群外部语义的指标。

CPU 型 HPA 的目标利用率以 Request 为分母,不是以 Limit 为分母。Measured Container 没有合适的 Request、指标暂时缺失,或 Pod 尚未 Ready 时,HPA 的计算与保守处理会受到影响,所以 Dashboard 不能只显示 current 与 desired replicas。

层要观察什么常见卡点
HPAcurrent / desired replicas、当前指标、目标值、Conditions、是否达到 min/max指标缺失、目标不合适、到达最大副本
Workloaddesired / updated / available、Rollout 状态新副本启动慢、探针失败、旧版本未退出
PodPending 数量、Unschedulable 原因、Ready 延迟Request 过大、亲和性、Topology、Taint、PVC 约束
Scheduler调度尝试与延迟、不可调度原因没有满足全部约束的 Node
节点供给Provision 时长、失败、配额、可选规格、Consolidation云配额、NodePool 限制、可用区、DaemonSet 开销
Nodeallocatable、已请求资源、Pressure、主机资源节点已满、系统预留不足、磁盘或内存压力

节点自动扩缩器通常响应“存在可供给的 Unschedulable Pod”,不是看到 Node CPU 高就直接扩容。反过来,HPA 已把 desired replicas 从 4 提到 10,也不代表 6 个新 Pod 已经有地方运行。

对 Worker 来说,队列年龄或待处理工作量往往比 CPU 更接近用户等待;对纯 CPU 计算服务,CPU 利用率可能更合适。选择 HPA 信号时,先问“副本增加后,这个指标是否会回落”,再决定用 CPU、并发、队列还是自定义指标。

存储、网络与控制面需要独立证据

容器 CPU 与内存只能解释一部分故障;存储、网络和控制面的对象状态、数据面性能与组件健康必须分层采集。

存储:PVC Bound 不代表读写健康

kube-state-metrics 可以说明 PVC 是 Bound 还是 Pending,也能暴露容量规格与 StorageClass 元数据。Kubelet 的 Volume Stats 在驱动支持时,可以提供卷容量、可用空间和 inode。

但“卷已绑定”不能证明应用读写正常。完整证据还包括:

  • 容量、可用空间、inode 与增长速度;
  • 节点磁盘 I/O 延迟、吞吐、队列和错误;
  • CSI Attach、Mount、Expand 的失败与耗时;
  • 存储后端自己的延迟、错误、复制和配额;
  • 应用看到的写入失败、超时和持久化队列。

某些 CSI 驱动或卷类型不暴露 kubelet_volume_stats_*。No Data 不能自动解释为“空间充足”,上线规则前要先验证目标卷确实有数据。

网络:Pod 流量、Node 网卡与 CNI 是三层

cAdvisor / Kubelet 能提供 Pod 或容器视角的收发字节、丢包和错误;Node Exporter 能看到主机网卡;CNI、CoreDNS、Ingress Controller、Load Balancer 和 Service Mesh 则各自解释不同网络段。

层适合回答
应用与 Trace请求慢在 DNS、Connect、TLS、等待还是下游处理
Pod / Container吞吐是否变化,接口是否出现错误或丢包
Node网卡、软中断、连接跟踪与主机网络是否饱和
CNI / DNSPod 网络编程、解析延迟、SERVFAIL 与网络策略
Ingress / Load Balancer外部入口流量、状态码、连接与上游健康

不要盲目把同一 Pod 内所有 Container 的网络计数相加。多个 Container 共享网络命名空间时,采集标签与运行时实现可能让同一接口流量重复出现;先验证平台 Recording Rule 的聚合口径。

控制面:对象存在不代表控制循环健康

kube-state-metrics 看到的是 API 对象快照,不是 API Server、Scheduler、Controller Manager 或 etcd 的健康证明。控制面至少要覆盖:

  • API Server 请求速率、错误和延迟;
  • Scheduler 的调度尝试、延迟与失败;
  • Controller Work Queue、Reconcile 错误与积压;
  • etcd 请求延迟、Leader、数据库大小与空间告警;
  • CoreDNS、证书和关键平台组件;
  • Prometheus、Alertmanager、日志与 Trace 管道自己的健康。

托管 Kubernetes 可能不开放全部控制面端点。此时应使用云平台提供的指标、审计日志、事件和外部 Probe 覆盖结果信号,而不是把缺失曲线当成健康。

OpenCost 给出分摊视角,不等于云账单

OpenCost 适合把集群资源成本分配到 Namespace、Workload 和 Label,帮助发现长期过配与空闲;它不是逐分复刻云账单的会计系统。

OpenCost 会把节点、持久卷、负载均衡与网络等成本数据,和 Kubernetes 的资源配置、Usage 与 Workload 元数据组合,形成分摊视图。具体能覆盖哪些成本,取决于云集成、定价配置和采集数据。

一张成本看板至少要分开:

  • 按 Namespace、Workload 或团队归属的成本趋势;
  • CPU / 内存 Request 与 Usage 的差距;
  • idle 与 unallocated 成本;
  • 持久卷、网络和负载均衡成本;
  • Spot 与按需节点构成;
  • 成本变化与发布、扩缩容事件。

这些数字更适合回答“成本从哪里来”“哪个 Workload 长期过配”,不适合直接承诺与发票逐项一致。折扣、预留承诺、税费、退款、共享平台、跨账号结算和云厂商账单延迟,都可能让两边存在差异。

Rightsizing 也不能以费用最低为唯一目标。在线服务要保留突发、故障切换和滚动发布余量;有状态组件还要保留恢复与重平衡空间。成本看板应该把“可以调查的浪费”与“为了可靠性保留的余量”分开。

统一应用与 Kubernetes 看板,但不替换集群看板

统一看板的目标是缩短“服务异常 → Workload → Pod → Node”的调查路径,不是复制、修改或替换现有集群 Dashboard。

统一应用与 Kubernetes 调查入口,同时保留现有集群看板的职责边界
统一应用与 Kubernetes 调查入口,同时保留现有集群看板的职责边界 · 点击查看 SVG 原图

【目标设计】
新增一张面向服务的调查看板,复用现有数据源、稳定变量和 Data Link。现有集群看板的查询、变量和职责保持不变。

统一应用看板可以按下面六行组织:

行内容先回答什么
1. 应用 REDRate、Error、P50/P95/P99、业务健康用户是否受影响
2. Workloaddesired / updated / available、Rollout、版本发布与副本是否正常
3. Pod 生命周期Ready、Pending、Restart、OOM、终止原因哪些 Pod 不能工作
4. 资源语义Usage、Request、Limit、Throttle、working set是配置、使用还是限制问题
5. 扩缩与容量HPA、Ready 延迟、Unschedulable、Node 余量副本为何没有生效
6. 调查入口Logs、Traces、Node、存储、网络、控制面、成本链接下一步去哪里验证

现有集群看板继续负责全局 Node、容量、存储、CNI、DNS、Ingress、控制面和平台组件。它面向平台整体,不需要按每个应用复制一份。

这两类看板通过链接协作:

  • 统一 environment、namespace、workload 等稳定变量;
  • Pod 只作为下钻变量,不作为长期入口;
  • 从应用看板跳到已有 Node、PVC、网络和控制面看板;
  • 复用 Recording Rule 或查询片段,不复制整份 Dashboard JSON;
  • 保留原有数据源与查询,避免新应用看板改变平台基线。

把所有信号压成一个“健康分”会丢失语义。应用错误率、Deployment 可用性、CPU Throttle 和 Node Pressure 可以同时出现,但它们分别是症状、状态、限制和容量证据,不应该被一个颜色替代。

一次完整排查怎样串起各层

先确认用户症状,再沿 Workload、Pod、Container、HPA 和 Node 排除,能避免把短时 Throttle 误判成集群容量不足。

【示例场景·合成数据】
example-api 的 P99 在一次流量上升后变慢。五分钟平均 CPU 只达到 Limit 的 35%,Node 仍有可分配余量。

调查过程可以这样推进:

  1. 应用 RED 显示所有主要路由同时变慢,错误率没有明显上升;
  2. Deployment desired、updated 与 available 一致,Rollout 已完成;
  3. Pod Ready 正常,没有新 OOM 或 Restart;
  4. Container 的 CPU throttled periods 明显上升,短窗口 Usage 反复碰到 Limit;
  5. HPA 以 Request 为分母,当前平均利用率仍未达到目标,所以 desired replicas 没有变化;
  6. 没有 Pending Pod,Node allocatable 与已请求资源也有余量,节点供给不是当前瓶颈;
  7. 放宽 CPU Limit、调整 Request/HPA 或优化应用并发后,必须用压测重新比较 P99、吞吐和 Throttle,不能只看资源曲线变绿。

这个证据链排除了“发布失败”“Pod 不可用”和“节点放不下”,把问题收敛到容器 CPU 配额与扩缩信号。最终动作仍要由 Profile、负载模型和 SLO 决定:提高 Limit、移除 CPU Limit、调整 Request、改变 HPA 信号或优化代码,都有不同代价。

另一个常见分支是 HPA desired 已上升,但新 Pod 长期 Pending。此时重点应转向 Unschedulable 原因、NodePool 可供给规格、云配额、Topology、Taint 和 PVC 约束,而不是继续降低 HPA 目标。

上线前按合同验收

一张资源看板只有在来源、所有权、单位、No Data 与下钻目标都能被验证时,才算可以交给值班人员。

上线前至少检查:

  1. 来源合同:每个面板标清来自 kube-state-metrics、Kubelet/cAdvisor、Node Exporter、Metrics Server 还是平台组件;
  2. 所有权合同:Deployment、ReplicaSet、Pod 和 Container 能稳定关联,Pod 替换后查询仍连续;
  3. 资源合同:CPU 使用 Core,内存使用 Bytes;Request、Limit、Usage 和 Throttle 没被混成一个百分比;
  4. 扩缩合同:HPA 指标来源、Request 分母、min/max、Conditions 与 Node 供给都可见;
  5. 缺失合同:区分“值为零”“指标不支持”“Target 抓取失败”和“对象不存在”;
  6. 基数合同:变量与 Label 不含 Pod UID、容器 ID、节点实例 ID、完整错误文本或内部资源命名;
  7. 下钻合同:Data Link 能进入 Logs、Traces 和现有集群看板,不复制替换原看板;
  8. 成本合同:OpenCost 的价格来源、分摊口径、idle/unallocated 与账单差异有说明。

验证时先查原始时序,再查 Recording Rule,最后看 Dashboard。只看最终面板,很难分清是采集缺失、标签 Join 失败、规则错误还是可视化问题。

小结

Kubernetes 资源监控的核心不是多装几个 Exporter,而是让每个数据源回答正确问题,并沿稳定所有权把应用症状下钻到容量原因。

  • kube-state-metrics 提供对象状态,cAdvisor 提供容器实际使用,Node Exporter 提供节点 OS 信号,Metrics Server 提供轻量资源 API;
  • 调查从应用与 Deployment 开始,再沿 ReplicaSet、Pod、Container 和 Node 下钻;
  • Usage、Request、Limit 与 Throttle 语义不同,CPU 平均值不能排除短时 Throttle;
  • HPA 只改变副本目标,Scheduler 与节点供给器决定 Pod 是否放得下;
  • 存储、网络和控制面需要各自的数据面与组件信号,No Data 不等于健康;
  • OpenCost 适合趋势、分摊与 Rightsizing 调查,不等于云发票;
  • 新应用看板提供短路径,但保留现有集群看板、数据源和查询职责。

落地前按环境核对

以下边界依赖 Kubernetes 版本、运行时、cgroup 模式、发行版或云平台,正文没有把它们写成所有环境都成立的固定字段。

  • 核对目标集群实际暴露哪些 Kubelet / cAdvisor 指标端点,以及 cgroup v1、cgroup v2 和容器运行时是否改变 CPU Throttle、内存与网络指标的可用性或名称。
  • 确认 HPA 当前使用 Metrics Server 的 Resource Metrics API,还是 Prometheus Adapter 等 Custom / External Metrics Provider;缺失指标与未 Ready Pod 的具体计算以目标 Kubernetes 版本为准。
  • 计算精确的 Pod 有效 Request 时,确认采用 Scheduler 暴露的 Pod Resource 指标,还是组合 kube-state-metrics 的容器 Request;Init Container、Pod Overhead、Sidecar 与 Pod 级资源配置都会影响结果。
  • 确认目标 CSI 驱动是否提供 kubelet_volume_stats_*,并验证共享 Network Namespace 下的网络指标是否因采集标签和聚合方式重复计算。
  • 列出托管 Kubernetes 开放的 API Server、Scheduler、Controller Manager 和 etcd 指标;不可见部分需要由云监控、审计日志或外部 Probe 补充。
  • 核对 OpenCost 当前云集成能否纳入折扣、持久卷、负载均衡与网络成本,并定义它与组织账单系统的对账容差。

公开参考

这些公开资料用于核对对象状态、节点资源、HPA、自动扩缩与成本分摊边界;具体指标仍以目标环境实际暴露为准。