TiDB·常见问题·Kubernetes 上的 TiDB 常见部署错误

旗开得胜夜 2022-03-17 12:01:41

本文介绍了 Kubernetes 上 TiDB 常见部署错误以及处理办法。

Pod 未正常创建

创建集群后,如果 Pod 没有创建,则可以通过以下方式进行诊断:

Copy

kubectl get tidbclusters -n ${namespace}
kubectl describe tidbclusters -n ${namespace} ${cluster_name}
kubectl get statefulsets -n ${namespace}
kubectl describe statefulsets -n ${namespace} ${cluster_name}-pd

创建备份恢复任务后,如果 Pod 没有创建,则可以通过以下方式进行诊断:

Copy

kubectl get backups -n ${namespace}
kubectl get jobs -n ${namespace}
kubectl describe backups -n ${namespace} ${backup_name}
kubectl describe backupschedules -n ${namespace} ${backupschedule_name}
kubectl describe jobs -n ${namespace} ${backupjob_name}
kubectl describe restores -n ${namespace} ${restore_name}

Pod 处于 Pending 状态

Pod 处于 Pending 状态,通常都是资源不满足导致的,比如:

  • 使用持久化存储的 PD、TiKV、TiFlash、Pump、Monitor、Backup、Restore Pod 使用的 PVC 的 StorageClass 不存在或 PV 不足
  • Kubernetes 集群中没有节点能满足 Pod 申请的 CPU 或内存
  • PD 或者 TiKV Replicas 数量和集群内节点数量不满足 tidb-scheduler 高可用调度策略

此时,可以通过 kubectl describe pod 命令查看 Pending 的具体原因:

Copy

kubectl describe po -n ${namespace} ${pod_name}

CPU 或内存资源不足

如果是 CPU 或内存资源不足,可以通过降低对应组件的 CPU 或内存资源申请,使其能够得到调度,或是增加新的 Kubernetes 节点。

PVC 的 StorageClass 不存在

如果是 PVC 的 StorageClass 找不到,可采取以下步骤:

  1. 通过以下命令获取集群中可用的 StorageClass:

    Copy
    kubectl get storageclass
  2. 将 storageClassName 修改为集群中可用的 StorageClass 名字。

  3. 使用下述方式更新配置文件:

    • 如果是启动 tidbcluster 集群,运行 kubectl edit tc ${cluster_name} -n ${namespace} 进行集群更新。
    • 如果是运行 backup/restore 的备份/恢复任务,首先需要运行 kubectl delete bk ${backup_name} -n ${namespace} 删掉老的备份/恢复任务,再运行 kubectl apply -f backup.yaml 重新创建新的备份/恢复任务。
  4. 将 Statefulset 删除,并且将对应的 PVC 也都删除。

    Copy
    kubectl delete pvc -n ${namespace} ${pvc_name}
    kubectl delete sts -n ${namespace} ${statefulset_name}

·····

关于正方面的内容,如果想了解更多的话,我整理了一下,大家可以看看这个:https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/deploy-failures 

...全文
228 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

87

社区成员

发帖
与我相关
我的任务
社区描述
Tidb开发者
其他 企业社区
社区管理员
  • csdnsqst0014
  • kikokingzz
  • karina17
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

社区初立,为了鼓励小友们在社区中积极互动,现在有一个活动如下:

试试用AI创作助手写篇文章吧