十月十八日,杨振宁先生逝世,缅怀,曾几何时,我也很热爱物理。

问题描述

我配置了k8s测试架构,三台机器关闭防火墙和setenforce0已经配好,各自访问百度没问题,一台master和两台node,现在在master上进行了pod创建操作,一个pod-1放到了node02,一个pod-2被放到node01。首先两个pod都拉取的是同一个nginx镜像,且标签都是myapp,pod建立起来之后,我创建了一个svc,标签什么的配置都没问题。现在出现问题是,在master访问svc的clusterIP时候,本应该是负载均衡到两个pod,现在只能访问pod-2,但是在node02机器上能访问到pod-1而其他的master和node01访问不到pod-1,包括svc的负载均衡。 这是什么原因导致

从以上问题描述中得到以下信息:

master01,node01:pod2,node02:pod01。问题出在node02中的pod01无法被访问

排除了nginx镜像,svc标签选择器,网络问题。下一步就是缩小可能错误范围。

“为什么会产生这样的错误呢,两个node机器完全一致,不应出现一个能一个不能用(跨节点不可访问)的情况”

先检查一下Endpoints(负载均衡依赖关联)

kubectl get endpoints myapp

kubectl_get_endpoint

发现正常存在pod-1,pod-2所在两台机器的IP,说明service正确关联两个pod(还是标签无误的进阶检查)

以上测试通过,检查CNI网络插件(本机用的是calico,别的有Flannel,weave等)

发现错误,显示有一个calico处于“崩溃循环回退”状态:

​ 尝试删除calico-node,让它重新生成,成功则是偶发现象。可惜了士兵,这次没有那么幸运。

kubectl_get_pod_calico

那我们看看这个崩溃的calico-node的日志

kubectl logs calico-node-fwt4p -n kube-system --previous

(没有现场照片了,下面的都是复现图片,仅供参考)

发现日志中有如下内容,且在重复出现

2025-10-18 06:51:27.994 [ERROR][1935] status-reporter/discovery.go 235: Didn't find any ready Typha instances.
2025-10-18 06:51:27.995 [ERROR][1905] felix/daemon.go 353: Typha discovery enabled but discovery failed. error=Kubernetes service missing IP or port
bird: Unable to open configuration file /etc/calico/confd/config/bird.cfg: No such file or directory

calico-node无法发现calico-typha服务,进而导致后续Brid配置文件无法生成,使得calico-node启动失败

检查calico-typha Service是否运行正常

kubectl get svc calico-typha -n kube-system

service存在,看不出来什么,进一步看一下,calico-typha的endpoints是否有就绪实例(熟悉不,就这个流程)

kubectl get endpoints calico-typha -n kube-system

哎!输出怎么没有endpoint!找到错误入口了

那么说明calico-typha pod未就绪或者未运行,进一步检查typha pod状态

kubectl get pods -n kube-system -l k8s-app=calico-typha

发现pod运行但是没有就绪,即running但是 ready:0/1

好,那么检查探针,其中的pod名来自上面那个命令

kubectl describe pod calico-typha-5b56944f9b-gm497 -n kube-system | grep Readiness
    Readiness:      http-get http://localhost:9098/readiness delay=0s timeout=10s period=10s #success=1 #failure=3

typha运行但未就绪,看看日志

kubectl logs calico-typha-5b56944f9b-gm497 -n kube-system --previous
2025-10-17 13:05:50.317 [INFO][7] sync_server.go 637: Closing connection; reason: graceful shutdown in progress. connID=0x17 remainingConns=1 thread="gracefulShutdown"
2025-10-17 13:05:50.317 [INFO][7] sync_server.go 604: Finished closing connections, completing shut down... remainingConns=1 thread="gracefulShutdown"
... ...
2025-10-17 13:05:50.884 [INFO][7] sync_server.go 1076: KV-sender goroutine finished client=192.168.197.136:47516 connID=0x17 thread="kv-sender" type="felix"
2025-10-17 13:05:50.886 [INFO][7] sync_server.go 723: Client connection shut down. client=192.168.197.136:47516 connID=0x17 type="felix"
2025-10-17 13:05:50.886 [INFO][7] sync_server.go 476: Connection handler finished error=context canceled
2025-10-17 13:05:50.886 [FATAL][7] daemon.go 469: Server has shut down.

好一个优雅关闭,不断关闭。。。

陷入循环重启关闭了!

考虑:OOM(内存溢出)导致关闭

kubectl describe pod calico-typha-5b56944f9b-gm497 -n kube-system | grep -A 5 "Resources"

可是没有输出,是不是没有OOM事件,那么就只能是存活探针了

杰哥说过:当存活探针的超时时间(initialDelaySeconds)过短,就会导致重启循环。

kubectl describe pod calico-typha-5b56944f9b-gm497 -n kube-system | grep -A 5 "Liveness"

30秒,先试着改一下

Liveness:       http-get http://localhost:9098/liveness delay=30s timeout=10s period=10s #success=1 #failure=3
kubectl edit deployment calico-typha -n kube-system
#找到

livenessProbe:
  httpGet:
    path: /liveness
    port: 9098
  initialDelaySeconds: 60  # 延长启动延迟,给typha足够时间初始化
  timeoutSeconds: 10
  periodSeconds: 10
  failureThreshold: 3

验证结果(要有耐心,刷个朋友圈别着急)

kubectl get pods -n kube-system -l k8s-app=calico-typha
kubectl describe pod <calico-typha名> -n kube-system | grep "Ready"

若输出Ready: True,说明就绪探针通过,typha 已正常就绪。

然后就是删除node02机器上的calico-node,让系统重新生成,也要有耐心等一下

kubectl_get_pod_calico_wide_fixed

能解决99%的此情况下的问题

end