k8s 容器编排迁移问题

aabbabababaa 2020-07-16 02:52:40

有一个节点的容器，设置了健康检查了，检查到不健康后，容器实例只是在这节点上不断重启？不能迁移到其他正常的节点上么？

...全文

25610 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

lj415243423 2020-07-20

打赏
举报

回复

你需要ingress

【容器系统】之⼤数据容器化-基于Kubernetes构建现代⼤数据系统 Apache Spark 在⼤数据处理与分析领域，Apache Spark⽆疑占据着重要地位。它的特点是基于内存计算，⽀持各类资源管理平台，其中以YARN最为常见，同时⼜与Hadoop平台集成，在集群节点以HDFS作为分布式⽂件存储系统。我们可以先看⼀下搭建⼀个常见的Apache Spark⼤数据平台需要哪些步骤： 1.安装Hadoop集群 2.配置HDFS 3.配置YARN 4.安装Spark 5.配置Spark与YARN集成事实上如果参阅官⽅⽂档，还有更多细节检查与配置，有过⼤数据相关领域从业经验的⼈都知道，要搭建⼀套可⽤的⼤数据环境并不容易，再加上后期维护，就更吃⼒了，⽽⼀套稳定的⼤数据平台正是进⾏⼤数据应⽤开发的基础。根据笔者了解，有不少公司正是因为⼤数据平台搭建及配置的复杂性等原因，不得不在多个测试环境中，共⽤⼀套⼤数据平台，这种⽅式长期看维护成本较⾼，也可能存在安全隐患。⼤数据领域需要⼀些变化，⽽Kubernetes的出现则提供了契机。 Kubernete（以下简称k8s）是容器集群管理系统，是⼀个开源的平台，可以实现容器集群的⾃动化部署、⾃动扩缩容、维护等功能。通过 Kubernetes你可以： · 快速部署应⽤ · 快速扩展应⽤ · ⽆缝对接新的应⽤功能 · 节省资源，优化硬件资源的使⽤⼤数据社区随着K8s社区的发展壮⼤，微服务及容器化被越来越多的公司应⽤到⽣产环境。与此同时，K8s也成为容器编排的⾸选平台。⼤数据社区在容器化进程中当然也是不⽢落后的。 Spark⾃2.3开始官⽅⽀持K8sFlink⾃1.9开始官⽅⽀持K8sHue官⽅Helm chart包Hive以MR3为执⾏引擎⽀持K8sAirflow⾃1.10开始⽀持K8sPresto⽀持K8s…… 可以看到整个⼤数据社区也在积极⽀持容器化，但⼤数据的容器化并不是⽣硬地将各个组件搬到K8s上，以Spark on YARN为例，核⼼组件YARN作为资源调度器，其结构如下图所⽰下图讲述了Apache Spark on YARN的⼯作⽅式： YARN ResourceManager的功能为：负责集群中所有资源的统⼀管理和分配，它接收来⾃各个节点（NodeManager）的资源汇报信息，并把这些信息按照⼀定的策略分配给各个应⽤程序了解K8s的同学可以看出YARN的功能其实与K8s Scheduler的功能⾮常类似 Kubernetes 调度器是⼀个策略丰富、拓扑感知、⼯作负载特定的功能，调度器显著影响可⽤性、性能和容量。调度器需要考虑个⼈和集体的资源要求、服务质量要求、硬件/软件/政策约束、亲和⼒和反亲和⼒规范、数据局部性、负载间⼲扰、完成期限等。所以与其将YARN⽣搬到K8s中（早期确实是这样做的），何不⽤K8s调度器替换掉YARN，使得Spark适应K8s呢? 事实上社区确实是在这个⽅向努⼒尝试，并且⾃Spark 2.3开始，实验性⽀持使⽤K8s原⽣Scheduler替代YARN。 spark on k8s: 在该⽅案中 1.客户端通过 spark-submit 将任务提交到K8s集群中，并在集群中启动⼀个Spark Driver Pod; 2.Spark Driver启动相应的Executor Pod, 组成⼀个Spark Application集群并执⾏作业任务; 3.任务执⾏完成后,Executor Pod会被销毁, ⽽Driver Pod会持久化相关⽇志,并保持在'completed'状态,直到⽤户⼿清理或被K8s集群的垃圾回收机制回收. Spark原⽣⽀持K8s的好处也是很明显的：可以更好的利⽤K8s的集群资源，通过K8s赋能，更好的进⾏资源的隔离。这个⽅案不太友好的地⽅在于： spark-submit 在K8s集群之外,使⽤⾮声明式的提交接⼝，实际使⽤起来不够友好。将Spark应⽤迁移到K8s环境中 Spark Operator是Google基于Operator模式开发的⼀款的⼯具, ⽤于通过声明式的⽅式向K8s集群提交Spark作业，并且负责管理Spark 任务在K8s中的整个⽣命周期，其⼯作模式如下我们可通过Hem安装 spark-operator $ helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator $ helm install incubator/sparkoperator --namespace spark-operator 创建服务⽤户及绑定权限 $ kubectl create serviceaccount

一、为什么学习kubernetes众所周知，随着容器的快速发展，容器管理工具kubernetes也应运而生，目前不仅百度、京东、阿里、google等大公司在使用kubernetes，一些中小企业也开始把业务迁移到kubernetes，那么作为运维、开发、测试或者架构师来说，必须要掌握这项技术，才能提现我们的工作价值，才能在行业具备保持较高的技术水平，kubernetes作为成熟的容器编排工具，具有容器集群的自动化部署、自动化伸缩和故障自恢复的能力，让容器的部署和管理变得更加容易，能够给企业和提供一个智能化的容器云管理平台，为企业快速上云提供一个安全可靠的解决方案，此课程主要介绍kubernetes1.14/kubernetes1.15版本高可用集群的安装部署和使用，通过我多年工作经验总结，带你深入体验企业实战案例，让您轻松快速的掌握k8s，接下来让我们一起出发吧。二、课程亮点三、讲师简介先超（lucky）：高级运维工程师、资深DevOps工程师，在互联网上市公司拥有多年一线运维经验，主导过亿级pv项目的架构设计和运维工作主要研究方向： 1.云计

毫无疑问，Kubernetes已经成为容器编排事实标准。除了已经拥抱Kubernetes的Google、BAT、京东、奇虎360等巨头大厂外，更多的企业也都在向Kubernetes迁移。容器技术大势所趋，是互联网企业目前急需的技术人才之一，已成为运维工程师、架构师的必备技能之一。机会总是留给有准备的人，现在就让我们一起开启这次充满挑战的容器之旅吧！上完这门课程会获得什么？首先从零开始教你搭建Kubernetes企业级容器云平台。接下来，学习Kubernetes核心功能，例如Pod、Deployment、Service、Ingress、Volume、PersistentVolume等知识点，再教你如何将公司项目部署到集群中，然后对集群资源监控和应用日志统一管理。贴近企业生产环境讲解，即学即用，确保实用性，实战性！

什么是胡克？ Rook是Kubernetes的开源云原生存储业务流程协调者，为平台提供了平台，框架和对各种存储解决方案的支持，以与云原生环境进行本地集成。 Rook将存储软件转变为自我管理，自我扩展和自我修复的存储服务。它通过自动化部署，引导，配置，供应，扩展，升级，迁移，灾难恢复，监视和资源管理来做到这一点。 Rook使用底层云原生容器管理，调度和编排平台提供的功能来执行其职责。 Rook利用扩展点将其深度集成到云原生环境中，并为调度，生命周期管理，资源管理，安全性，监视和用户体验提供无缝的体验。有关Rook当前支持的存储解决方案的更多详细信息，请参阅下面的。我们计划根据社区需求和对未来版本的参与，继续增加对其他存储系统和环境的支持。有关更多详细信息，请参见我们的。 Rook由（CNCF）托管，是一个项目。如果您想帮助塑造容器包装，动态计划和面向微服务的技术发展，请考虑加入CNCF。有关谁参与以及Rook如何扮演角色的详细信息，请阅读CNCF 。入门和文档有关安装，部署和管理的信息，请参见我们的。贡献我们欢迎您的贡献。请参阅入门。报告错误要提交错

通过具有日志记录（EFK）和监视（Prometheus）支持的kargo部署kubernetes 您会得到什么： Kargo ：一种强大，灵活的方式来构建，热升级/迁移和扩展kubernetes（k8s）正在运行的主节点的X数量：k8（用于容器编排），它将进行引导并将工作交给小仆奴隶/奴隶/工人节点的Y个数：运行实际的容器并进行实际的工作 Z的etcd：存储您的k8s配置的数据库 Efk ：我们将通过流畅的方式将所有k8s容器日志发送到Elasticsearch DB，并使用kibana可视化仪表板普罗米修斯将使用grafana dashbaord监视所有这些基础设施 Heapste

系统维护与使用区

19,612

社区成员

74,603

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章