k8s报IPVS问题导致pod多次重启

风意水无痕 2020-08-05 11:03:48
报错日志:
Aug 05 09:37:09 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:09 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:10 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:10 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:11 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:11 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:12 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:12 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:13 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:13 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:14 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:14 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:15 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:16 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:16 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:17 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:17 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:18 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:18 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available

Aug 05 09:37:19 k8s1 kernel: IPVS: rr: TCP 10.197.236.110:31092 - no destination available




31090,31091,31092偶发性出现这个问题，频率不定，一天内会出现多次导致相关pod全部重启
麻烦各位大佬帮忙分析一下
...全文
9646 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
风意水无痕 2020-09-14
  • 打赏
  • 举报
 回复
引用 7 楼 huangkaiyan10 的回复:
遇到和楼主一模一样的问题，我用的是k8s 1.17.4.在k8s安装了kafka，3个broker，暴露了3个nodeport。


在一次全部pod重启之后就再也没出现过，玄学了
huangkaiyan10 2020-09-10
  • 打赏
  • 举报
 回复
遇到和楼主一模一样的问题，我用的是k8s 1.17.4.在k8s安装了kafka，3个broker，暴露了3个nodeport。
huangkaiyan10 2020-09-10
  • 打赏
  • 举报
 回复
想问群主最后是怎么解决
qybao 2020-08-06
  • 打赏
  • 举报
 回复
引用 4 楼 风意水无痕 的回复:
首先谢谢大佬的回复！

你的service对应哪个pod？是kafka-0，1，2吗？
是的，是对应的是kafka-0，1，2

看你的截图不是pod重启（restarts为0)，应该是pod被删了再重建吧？pod的重启规则是什么？onfaile还是always？
对的，我意识到我问的有问题，的确是被删除的而不是重启，重启规则是默认的也就是always

是不是会定时发布pod的新镜像之类的？查看rs看看有多少版本？或者查看service的selector是不是没匹配，所以没有pod关联？
没有定时发布pod的设置，rs中没有版本下面我放个图，selector是匹配的，不然会一直连不上吧，这现象是偶发的


用kustomize+argo可以同步yaml文件的（即不用命令发布，只要修改yaml就会重新发布），确认一下你们是不是用自动同步发布管理，并有yaml文件被修改了。
没有这些机制


看你的答复以及问题的现象描述，感觉像以下帖子的问题
https://www.kubernetes.org.cn/5010.html
你先确认一下k8s的版本，然后再查看kube-proxy的 log， 看看是否像帖子所说的那样发生了死锁
kubectl version --short //查看版本
kubectl get all -n kube-system | grep proxy // 查看都有什么proxy
kubectl logs your_kube-proxy -n kube-system // 查看日志

风意水无痕 2020-08-06
  • 打赏
  • 举报
 回复
引用 1 楼 qybao 的回复:
你的service对应哪个pod？是kafka-0，1，2吗？
看你的截图不是pod重启（restarts为0)，应该是pod被删了再重建吧？pod的重启规则是什么？onfaile还是always？
是不是会定时发布pod的新镜像之类的？查看rs看看有多少版本？或者查看service的selector是不是没匹配，所以没有pod关联？
用kustomize+argo可以同步yaml文件的（即不用命令发布，只要修改yaml就会重新发布），确认一下你们是不是用自动同步发布管理，并有yaml文件被修改了。


首先谢谢大佬的回复！

你的service对应哪个pod？是kafka-0，1，2吗？
是的，是对应的是kafka-0，1，2

看你的截图不是pod重启（restarts为0)，应该是pod被删了再重建吧？pod的重启规则是什么？onfaile还是always？
对的，我意识到我问的有问题，的确是被删除的而不是重启，重启规则是默认的也就是always

是不是会定时发布pod的新镜像之类的？查看rs看看有多少版本？或者查看service的selector是不是没匹配，所以没有pod关联？
没有定时发布pod的设置，rs中没有版本下面我放个图，selector是匹配的，不然会一直连不上吧，这现象是偶发的


用kustomize+argo可以同步yaml文件的（即不用命令发布，只要修改yaml就会重新发布），确认一下你们是不是用自动同步发布管理，并有yaml文件被修改了。
没有这些机制
qybao 2020-08-05
  • 打赏
  • 举报
 回复
你的service对应哪个pod？是kafka-0，1，2吗？ 看你的截图不是pod重启（restarts为0)，应该是pod被删了再重建吧？pod的重启规则是什么？onfaile还是always？ 是不是会定时发布pod的新镜像之类的？查看rs看看有多少版本？或者查看service的selector是不是没匹配，所以没有pod关联？ 用kustomize+argo可以同步yaml文件的（即不用命令发布，只要修改yaml就会重新发布），确认一下你们是不是用自动同步发布管理，并有yaml文件被修改了。
CKA认证：Kubernetes/K8S 0基础考证培训
请特别注意本课程的最后更新时间与当前考试版本是否一致！！！！2021年3月最后更新，当前K8S考试版本为 v1.20 5天上机实操培训 + 1天考前辅导：模块课程内容Container与Kubernetes概述√    容器的概述√  容器与虚拟化的关系√  容器与Docker关系√  容器技术的发展历程√  容器编排技术概述√  Kubernetes概述√  Container和Kubernetes的关系Docker的安装和管理√  Docker安装√  Docker基础操作√  docker存储机制√  构建docker网络√  Namespace和Cgroup√  容器资源限制实战：√  为企业部署Docker√  秒级搭建HTTP服务√  实现容器的持久化存储Kubernetes架构介绍√  Kubernetes架构√  主要组件介绍√  基本概念与术语√  Kubernetes管理对象Kubernetes 安装和配置√  设计Kubernetes集群√  基于centos平台的安装配置√  安装Kubernetes   Masters和Nodes√  安装并使用kubeadm来安装，配置和管理Kubernetes集群√  选择网络解决方案√  部署后的测试实战：√  为企业构建Kubernetes集群Kubernetes API   及集群访问√  Yaml文件对API资源结构的定义√  使用Kubectl对API资源做访问√  NameSpaces介绍√  NameSpace管理实战：√  编写yaml文件√  构建Kubernetes的命名空间Pod管理与使用√  Pod介绍与原理讲解√  Pod创建与删除√  Pod生命周期管理√  Static Pods√  Init Containers实战：√  创建多容器的pod√  pod生命周期管理√  设置POD中容器的启动顺序Label与Label   Selector√  标签（Label）√  标签选择器（Label Selector）√  使用标签选择器来安排Pod√  使用标签选择器来管理Node实战：√  让Pod运行到指定的节点√  批量管理指定标签的PodKubernetes常用的控制器√  ReplicaSet√  Deployment√  DaemonSet√  Job√  CronJob√  Statefulset实战：√  在每一个节点部署nginx服务√  实现nginx服务的弹性伸缩√  快速实现企业nginx服务的滚动升级√  创建一次性和周期性任务Kubernetes网络及服务√  Kubernetes网络模型√  Pod网络实现方式√  Calico 网络插件及部署√  Service的作用√  通过服务发现的服务访问流程实战：√  实现POD与POD通信√  实现POD与NODE通信√  实现nginx和http服务外部访问Kubernetes 负载均衡√  IPTABLES模式实现原理√  IPVS模式实现原理√  Ingress的原理讲解和使用实战：√  实现HTTP的负载均衡√  创建IngressKubernetes存储√  EmptyDir√  hostPath√  NFS√  PV和PVC√  StorageClass√  ConfigMap介绍√  Secret介绍实战：√  实现POD间的共享存储√  向POD中分发机密信息√  创建使用StorageClassKubernetes资源调度√  Kubernetes资源管理√  Kubernetes调度器√  Kubernetes调度策略√  Kubernetes调度优先级和抢占机制√  Node策略和pod策略√  Taints和Toleration实战：√  为企业设置POD亲和性√  设置Kubernetes调度优先级√  将服务器设置为污点Kubernetes 安全√  访问API√  身份的验证与授权√  基于角色访问权限配置√  网络安全策略配置实战：√  为企业创建Kubernetes帐号√  设置帐号的权限√  验证权限√    配置Network Policy日志、监控、Troubleshooting和维护√  Kubernetes的日志方案√  Troubleshooting的方法论√  常见的场景排错√  维护模式（Cordon）√  疏散POD（Drain）实战：√  排查Kubernetes常见故障√  设置维护模式Helm包管理工具√  Helm简介√  使用Helm√  Chart简介√  Chart模板的使用实战：√  通过helm为企业部署Web√  通过helm构建WordPress博客平台√  使用Helm实现企业应用的升级与回滚 考前辅导：√  考试卷购买√  考试预约流程√  考试环境介绍√  考前辅导，真题讲解
K8s 学习笔记(一)——pod 详解
文章目录第一章 k8s 介绍应用部署方式的演变K8s 简介k8s 组件k8s 中的一些概念k8s 安装k8s 集群介绍k8s 安装方式k8s 部署应用k8s 资源管理资源管理介绍资源管理方式 第一章 k8s 介绍 应用部署方式的演变 传统部署： app 直接在操作系统之上进行部署。 虚拟化部署： 一台物理机上虚拟化多个虚拟机。 每个虚拟机都是独立的环境。 容器化部署： 与虚拟化相似，但共享了操作系统。 虚拟化部署，与容器化部署程序直接相互隔离，但是虚拟化每个隔离之间都需要操作系统，比较消耗系统的资源。
记一次K8S网络问题排查过程，kube-proxy的ipvs模式转发失败，修改iptables模式
两个节点的k8s集群环境，master 和 node在添加calico服务的时候，master节点正常，node节点上的calico的pod一直异常，10.233.64.1:443 timeout，启动不起来。 calico-node服务需要连接Master节点的kube-apiserver服务，由于网络不通导致连接失败，服务也就启动失败，问题转化成K8S网络问题排查。 ......
k8s中docker，pod，service之间网络通信模型
k8s对Pods之间如何进行组网通信提出了要求，k8s对集群的网络有以下要求： 所有的Pods之间可以在不使用NAT网络地址转换的情况下相互通信 所有的Nodes之间可以在不使用NAT网络地址转换的情况下相互通信 每个Pod自己看到的自己的ip和其他Pod看到的一致 k8s网络模型设计基础原则:每个Pod都拥有一个独立的 IP地址，而且 假定所有 Pod 都在一个可以直接连通的、扁平的网络空间中 。 所以不管它们是否运行在同 一 个 Node (宿主机)中，都要求它们可以直接通过对方的 IP 进行访问
Docker学习第九天——K8S之pod、service
1.1 Service的作用• 在kubernetes中，Pod是有生命周期的，如果Pod重启它的IP很有可能会发生变化。如果我们的服务都是将Pod的IP地址写死，Pod挂掉或者重启，和刚才重启的pod相关联的其他服务将会找不到它所关联的Pod。• 为了解决这个问题，在kubernetes中定义了service资源对象，Service 定义了一个服务访问的入口。
Java

50,549

社区成员

85,621

社区内容

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛（原bbs）
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章