
Hello,我是小兔大白糖。 「集群升一个小版本」——最贵的翻车,往往不是控制面 API 突然变了,而是控制面、托管 add-on(插件)、节点镜像同一天一起滚:出事时分不清是旧疾还是新伤,回滚路径也被自己堵死。写成这篇,给要做托管 Kubernetes / EKS 升级心智模型与选型调研的初中级后端同学——不是某账号、某集群的操作 runbook。
说明:文中「控制面 / add-on / 节点」是通用分层框架;具体小版本号、支持截止日期、插件兼容矩阵以云厂商公开文档为准。示例命令与检查项均为教学脱敏示意,禁止当成你们集群的执行清单。不声称「AWS 内部就是这样」。
估计阅读时间:10 分钟
目录
为什么现在要关心
硬规则一句话:一次只变更一个层次——控制面 →(验证)→ add-on →(验证)→ 节点;禁止三层同滚。
后端同学更容易先感受到「Pod 起不来 / 探针挂了 / 发版卡住」,但根因经常在升级窗口里被揉成一团。可复述的纪律就五条:
- 一次只动一层:控制面、add-on、节点分轨推进。
- 每阶段四件套:执行前检查、成功条件、停止条件、回退动作——缺一就别开下一层。
- 稳定前保留可回滚面:例如新版本控制面尚未证明稳定时,旧版本节点 / 可回退路径仍在(以云厂商公开回滚能力为准,窗口往往有限)。
- 不要用
--force一类开关绕过升级洞察 / 预检:预检红了先修,再升。 - 基础设施即代码(IaC)要收回漂移:控制台 / CLI 应急改完,最终仍回到 Terraform / GitOps 为唯一 desired state(期望状态)。
删掉比喻之后,你仍应能对同事说清:分层是为了可定位与可停,不是为了日历好看。
心智模型:电梯检修,一次只停一层
整栋楼(集群)要换部件:先机房(控制面),再电梯电脑(add-on),再轿厢(节点)。三层一起拆,救援通道没了。
| 楼里的部件 | 集群里的层 | 你在防什么 |
|---|---|---|
| 机房 / 调度中枢 | 托管控制面(API Server 等) | 弃用 API、准入行为变化 |
| 电梯电脑 / 楼内管线 | CNI、CSI、CoreDNS、kube-proxy 等 add-on | 插件与控制面版本矩阵不匹配 |
| 轿厢 / 楼层门 | 节点 AMI、节点组、Karpenter 等供应面 | kubelet 与控制面 version skew(版本偏斜)、驱逐风暴 |
类比局限:电梯故事解释「分层与救援通道」;解释不了目标小版本的弃用 API 清单——那要对照公开 CHANGELOG / deprecation(弃用)说明。
问题空间:三层不是一件事
升级失败时,先问「动的是哪一层」;把三层当成一次「点 Upgrade」会直接丢掉定位能力。
| 层 | 常见内容 | 典型翻车形态 |
|---|---|---|
| 控制面 | 托管 API Server 等控制面小版本 | 弃用 API 被拒;准入 / 默认行为变化 |
| Add-on | CNI、CSI、CoreDNS、kube-proxy 等托管插件 | 插件与控制面兼容矩阵未对齐 |
| 节点 | AMI / 托管节点组 / Karpenter 等 | kubelet 与控制面 skew;滚动时驱逐过猛 |
目标也要先分清——同一套分层纪律,节奏可以不同:
| 升级目标 | 选型上多问一句 |
|---|---|
| 延长支持窗口 | 能否按官方支持路径逐级升;有没有跳版本限制 |
| 拿新特性 | 特性开关不要和版本升级同开 |
| 修 CVE | 节点镜像与 add-on 谁先暴露风险面 |
后端类比:控制面像 JVM 大版本,add-on 像关键 native 依赖,节点像跑进程的机器镜像。 三个一起升,等价于换 JDK、换 JNI、换机器同一天做——出事只能猜。类比局限:管「变更耦合」;解释不了云厂商具体的升级洞察字段名。
业界常见升级模式
调研默认选「分层推进」:日历更长,但可定位、可停;生产极严再评估蓝绿双集群。
| 模式 | 做法 | 收益 | 代价 |
|---|---|---|---|
| A. 周末一把梭 | 控制面 + 插件 + 节点同一窗口 | 日历最短 | 排障最长;旧疾/新伤难分;回滚面易被堵死 |
| B. 分层推进(推荐作默认) | 每层独立窗口与门禁 | 可定位、可停、可复盘 | 日历更长;需要明确成功/停止条件 |
| C. 蓝绿双集群 | 新集群验证后再切流 | 变更面隔离更好 | 成本与流量切换复杂度高;适合生产严格环境 |
没有免费午餐:A 买日历,卖定位;B 买定位,卖日历;C 买隔离,卖钱与切流复杂度。
可复述节奏:分层门禁
把升级写成「漏斗」:每一层只有过门禁才进下一层;门禁 = 成功条件 + 停止条件 + 回退动作。
教学向伪流程(不是某集群命令墙):
1. 读目标小版本公开文档
- 弃用 API / 行为变更
- add-on 兼容矩阵
- 节点与控制面 skew 规则
2. 只读确认现状
- 当前版本、节点 Ready、PVC、关键工作负载健康
3. 升控制面 → 门禁
4. 升 add-on(按厂商公开建议顺序)→ 门禁
5. 升节点(分批;稳定前可保留旧节点池)→ 门禁
6. 新特性开关:另开窗口,不与版本升级同开
7. CLI / 控制台应急变更 → 写回 IaC,plan 无意外漂移每层四件套(缺一勿开下一层):
| 件套 | 人话 | 示例(教学) |
|---|---|---|
| 执行前检查 | 这一层该看什么已经绿了? | 升级洞察 / 预检无阻断;依赖清单已读 |
| 成功条件 | 怎样算「可以进入下一层」? | API 可用;核心工作负载就绪;关键探针稳定一段时间 |
| 停止条件 | 怎样算「先停、别往下滚」? | 预检失败;NotReady 扩散;存储挂载异常;核心命名空间崩 |
| 回退动作 | 停下来之后怎么退 / 怎么止血? | 以公开回滚能力为准;必要时冻结变更、保留旧节点池接流 |
停止之后先问一句:旧疾还是新伤? 三层同滚时,这句几乎无法回答。
分享向刻意少贴 kubectl:你真正要带走的是门禁合同,不是某次排障的命令回放。需要补齐「Pod / 节点 / 发版」直觉时,可先看本站入门系列(文末导航)。
反模式
下列写法都能把「可定位」一次性卖掉——日历再漂亮也白搭。
| 反模式 | 为什么贵 |
|---|---|
| 三层同滚 | 旧疾与新伤无法分离;回滚路径互相卡住 |
--force 一类绕过洞察 / 预检 | 把「已知红灯」变成「生产里现炸」 |
| 升级窗口顺便改凭证 / 权限 | 两个变更域耦合;出事先猜身份还是版本 |
| 升级同时打开一堆新 GA 特性 | 版本问题与特性问题缠在一起 |
| 控制台改完不回收到 IaC | 下次 plan / apply 漂移;「谁改的」丢失 |
| 无成功 / 停止条件就开下一层 | 不是升级,是连续赌博 |
选型结论
- 升级合同是分层门禁,不是「点一下 Upgrade」。
- 可定位性优先于日历最短——默认模式 B;生产极严再评估 C。
- 回滚面与 IaC 收回是同一套纪律的两面:一边保救援通道,一边保 desired state 唯一。
- 版本号与支持截止日期以云厂商公开页为准;本文不钉死某一具体小版本日期。
- 新特性另开窗口——和「一次只动一层」是同一条神经。
转发给同事时,可复述版就三句:别三层同滚;每层四件套;预检红了先修。
和本站 K8s 入门系列的关系
本文讲的是托管集群升级节奏;入门系列讲的是后端日常的对象、资源与压测直觉。两者互补,不互相替代:
| 你卡住的点 | 建议先读 |
|---|---|
| Pod / Node / 集群地图 | 01 |
| 副本、滚动、Service | 02 |
| request / limit、throttle / OOM | 03 |
| 单机资源心算 | 04 |
| 压测打满排障 | 05 |
| 日常清单与探针 | 06 |
系列导航:导读 · 01 · 02 · 03 · 04 · 05 · 06