手动扩缩容失败如何排查(3条思路)
目录
首先手动扩缩容的命令是:
kubectl scale deployment myapp-deploy --replicas=10
当发现扩缩容操作无法完成,即有创建删除pod的过程而最终结果没有达到预期状态时,从以下几个方面排查。
这次的hpa名为myapp-deploy,记得根据自己需要修改
优先检查是否存在HPA
kubectl get hpa
如果有,则可选择进行以下步骤
临时关闭HPA:
注意!这里的临时关闭的意义有点不太一样,注意理解,是暂停 HPA 的自动扩缩逻辑(HPA 仍在运行,但因 “最小副本数 = 最大副本数”,无调整空间,无法自动修改 Deployment 的spec.replicas)。
实际上hpa在运行,也就是说,你想要几个副本,就要将最大最小同时设置为几(确信)
kubectl patch hpa myapp-deploy -p '{"spec":{"minReplicas":5,"maxReplicas":5}}'
且这条命令完成后使用scale再想更改也是“没用的”,此时手动 scale deployment 有效 —— 只要 HPA 未覆盖,Deployment 会将副本数同步到活跃 RS;但 HPA 会按默认周期(15 秒)检查指标,若后续指标触发调整(如 CPU 突升),因min=max,HPA 无法修改,所以scale后的副本数能稳定。结果上讲“没用”
永久删除HPA:
反正创建起来也很简单,直接删了也无妨,记得调回来就行
不过说实话,真的想不到实际场景下有什么用得到手动调整的场景…真的
kubectl delete hpa myapp-deploy
edit一下HPA:
这样应该是业务扩展或者日活玩家少了之类的场景下,当前策略不满足未来实际需求
kubectl edit hpa myapp-deploy
可以修改下面的spec.minReplicas,spec.maxReplicas,spec.metrics参数。
操作对象错误
是不是写错了,操作成了deployment下属管控的底层控制器rs
确认操作对象
kubectl scale deployment myapp-deploy --replicas=3
#而不是
kubectl scale rs myapp-deploy-6b67949447 --replicas=3
当然你要知道,直接设置rs其实是没什么用的,有deployment的大手在后面操控
若直接scale rs,Deployment 会检测到 “自身spec.replicas与 RS 实际副本数不一致”,在短时间内将 RS 的副本数修正回 Deployment 的期望 value,导致scale rs的修改被覆盖(即 “没用” 的本质)。
尤其是这几个参数:replicas,spec.template,spec.selector
只有在一些特殊场景下如金丝雀,故障排查。且需要声明后续清理步骤。此时操作 RS 后,Deployment 会 “暂时容忍”(不主动覆盖旧 RS 的副本数),但需后续手动将旧 RS 缩容至 0(否则 Deployment 与 RS 状态不一致,会导致 HPA 失效、总副本数超预期等问题)。【这里比较重要】
其他
权限不足:用户权限不足,当然我们一般使用root,企业里就不是了,可参考。
执行 kubectl describe deployment myapp-deploy,在 “Events” 栏可看到:
- 权限不足:会提示 “permission denied”(如缺少
deployments.apps/update权限); - 资源锁定:会提示 “Update cancelled”“finalizer 阻拦” 等信息;
- 配置冲突:会提示 “ConfigConflict” 或 GitOps 工具的同步日志(如 “sync from Git repo”)。
资源锁定:控制器被finalizer或其他机制锁定,更新请求被阻塞。
配置冲突:可能有一些其他工具和deployment的配置冲突,检查下有没有乱搞忘删的(听起来怪怪的像出轨)
“其他工具” 通常指GitOps 工具(如 ArgoCD、Flux) —— 这类工具会按 Git 仓库中的配置 “强制同步” Deployment 的spec.replicas,若手动scale或 HPA 修改后,Git 仓库中配置未更新,工具会将副本数 “拉回” Git 中的值,导致扩缩容失败。
结语
当然,还要注意控制器事件和日志区排查原因