重启 Kubernetes 上的 TiDB 集群

在使用 TiDB 集群的过程中,如果你发现某个 Pod 存在内存泄漏等问题,需要对集群进行重启,本文描述了如何优雅滚动重启 TiDB 集群内某个组件的所有 Pod 或通过优雅重启指令来将 TiDB 集群内某个 Pod 优雅下线然后再进行重新启动。

警告:

在生产环境中,未经过优雅重启而手动删除某个 TiDB 集群 Pod 节点是一件极其危险的事情,虽然 StatefulSet 控制器会将 Pod 节点再次拉起,但这依旧可能会引起部分访问 TiDB 集群的请求失败。

优雅滚动重启 TiDB 集群组件的所有 Pod 节点

在标准 Kubernetes 上部署 TiDB 集群之后,通过 kubectl edit tc ${name} -n ${namespace} 修改集群配置,为期望优雅滚动重启的 TiDB 集群组件 Spec 添加 annotation tidb.pingcap.com/restartedAt,Value 设置为当前时间。以下示例中,为组件 pdtikvtidb 都设置了 annotation,表示将优雅滚动重启以上三个 TiDB 集群组件的所有 Pod。可以根据实际情况,只为某个组件设置 annotation。

  1. apiVersion: pingcap.com/v1alpha1
  2. kind: TidbCluster
  3. metadata:
  4. name: basic
  5. spec:
  6. version: v5.2.1
  7. timezone: UTC
  8. pvReclaimPolicy: Delete
  9. pd:
  10. baseImage: pingcap/pd
  11. replicas: 3
  12. requests:
  13. storage: "1Gi"
  14. config: {}
  15. annotations:
  16. tidb.pingcap.com/restartedAt: 2020-04-20T12:00
  17. tikv:
  18. baseImage: pingcap/tikv
  19. replicas: 3
  20. requests:
  21. storage: "1Gi"
  22. config: {}
  23. annotations:
  24. tidb.pingcap.com/restartedAt: 2020-04-20T12:00
  25. tidb:
  26. baseImage: pingcap/tidb
  27. replicas: 2
  28. service:
  29. type: ClusterIP
  30. config: {}
  31. annotations:
  32. tidb.pingcap.com/restartedAt: 2020-04-20T12:00