搭建高可用的 Kubernetes Masters

FEATURE STATE: Kubernetes 1.5 [alpha]

你可以在谷歌计算引擎(GCE)的 kubeupkube-down 脚本中复制 Kubernetes Master。 本文描述了如何使用 kube-up/down 脚本来管理高可用(HA)的 Master, 以及如何使用 GCE 实现高可用控制节点。

准备开始

你必须拥有一个 Kubernetes 的集群,同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。 如果你还没有集群,你可以通过 Minikube 构建一 个你自己的集群,或者你可以使用下面任意一个 Kubernetes 工具构建:

要获知版本信息,请输入 kubectl version.

启动一个兼容高可用的集群

要创建一个新的兼容高可用的集群,你必须在 kubeup 脚本中设置以下标志:

  • MULTIZONE=true - 为了防止从不同于服务器的默认区域的区域中删除 kubelets 副本。 如果你希望在不同的区域运行副本,那么这一项是必需并且推荐的。

  • ENABLE_ETCD_QUORUM_READ=true - 确保从所有 API 服务器读取数据时将返回最新的数据。 如果为 true,读操作将被定向到主 etcd 副本。可以选择将这个值设置为 true, 那么读取将更可靠,但也会更慢。

你还可以指定一个 GCE 区域,在这里创建第一个主节点副本。设置以下标志:

  • KUBE_GCE_ZONE=zone - 将运行第一个主节点副本的区域。

下面的命令演示在 GCE europe-west1-b 区域中设置一个兼容高可用的集群:

  1. MULTIZONE=true KUBE_GCE_ZONE=europe-west1-b ENABLE_ETCD_QUORUM_READS=true ./cluster/kube-up.sh

注意,上面的命令创建一个只有单一主节点的集群; 但是,你可以使用后续命令将新的主节点副本添加到集群中。

增加一个新的主节点副本

在创建了兼容高可用的集群之后,可以向其中添加主节点副本。 你可以使用带有如下标记的 kubeup 脚本添加主节点副本:

  • KUBE_REPLICATE_EXISTING_MASTER=true - 创建一个已经存在的主节点的副本。

  • KUBE_GCE_ZONE=zone -主节点副本将运行的区域。必须与其他副本位于同一区域。

你无需设置 MULTIZONEENABLE_ETCD_QUORUM_READS 标志,因为他们可以从兼容高可用的集群中继承。

使用下面的命令可以复制现有兼容高可用的集群上的 Master:

  1. KUBE_GCE_ZONE=europe-west1-c KUBE_REPLICATE_EXISTING_MASTER=true ./cluster/kube-up.sh

删除主节点副本

你可以使用一个 kube-down 脚本从高可用集群中删除一个主节点副本,并可以使用以下标记:

  • KUBE_DELETE_NODES=false - 限制删除 kubelets。

  • KUBE_GCE_ZONE=zone - 将移除主节点副本的区域。

  • KUBE_REPLICA_NAME=replica_name - (可选)要删除的主节点副本的名称。 如果为空:将删除给定区域中的所有副本。

使用下面的命令可以从一个现有的高可用集群中删除一个 Master副本:

  1. KUBE_DELETE_NODES=false KUBE_GCE_ZONE=europe-west1-c ./cluster/kube-down.sh

处理主节点副本失败

如果高可用集群中的一个主节点副本失败,最佳实践是从集群中删除副本, 并在相同的区域中添加一个新副本。 下面的命令演示了这个过程:

  1. 删除失败的副本:
  1. KUBE_DELETE_NODES=false KUBE_GCE_ZONE=replica_zone KUBE_REPLICA_NAME=replica_name ./cluster/kube-down.sh
  1. 在原有位置增加一个新副本:
  1. KUBE_GCE_ZONE=replica-zone KUBE_REPLICATE_EXISTING_MASTER=true ./cluster/kube-up.sh

高可用集群复制主节点的最佳实践

  • 尝试将主节点副本放置在不同的区域。在某区域故障时,放置在该区域内的所有主机都将失败。 为了在区域故障中幸免,请同样将工作节点放置在多区域中 (详情请见多区域)。

  • 不要使用具有两个主节点副本的集群。在双副本集群上达成一致需要在更改持久状态时 两个副本都处于运行状态。 因此,两个副本都是需要的,任一副本的失败都会将集群带入多数失败状态。 因此,就高可用而言,双副本集群不如单个副本集群。

  • 添加主节点副本时,集群状态(etcd)会被复制到一个新实例。如果集群很大, 可能需要很长时间才能复制它的状态。 这个操作可以通过迁移 etcd 数据存储来加速, 详情参见 这里 (我们正在考虑在未来添加对迁移 etcd 数据存储的支持)。

实现说明

ha-master-gce

概述

每个主节点副本将以以下模式运行以下组件:

  • etcd 实例: 所有实例将会以共识方式组建集群;

  • API 服务器: 每个服务器将与本地 etcd 通信——集群中的所有 API 服务器都可用;

  • 控制器、调度器和集群自动扩缩器:将使用租约机制 —— 每个集群中只有一个实例是可用的;

  • 插件管理器:每个管理器将独立工作,试图保持插件同步。

此外,在 API 服务器前面将有一个负载均衡器,用于将外部和内部通信路由到他们。

负载均衡

启动第二个主节点副本时,将创建一个包含两个副本的负载均衡器, 并将第一个副本的 IP 地址提升为负载均衡器的 IP 地址。 类似地,在删除倒数第二个主节点副本之后,将删除负载均衡器, 并将其 IP 地址分配给最后一个剩余的副本。 请注意,创建和删除负载均衡器是复杂的操作,可能需要一些时间(约20分钟)来同步。

主节点服务 & kubelets

Kubernetes 并不试图在其服务中保持 apiserver 的列表为最新, 相反,它将将所有访问请求指向外部 IP:

  • 在拥有一个主节点的集群中,IP 指向单一的主节点,
  • 在拥有多个主节点的集群中,IP 指向主节点前面的负载均衡器。

类似地,kubelets 将使用外部 IP 与主节点通信。

主节点证书

Kubernetes 为每个副本的外部公共 IP 和本地 IP 生成主节点 TLS 证书。 副本的临时公共 IP 没有证书; 要通过其临时公共 IP 访问副本,必须跳过 TLS 检查。

etcd 集群

为了允许 etcd 组建集群,需开放 etcd 实例之间通信所需的端口(用于集群内部通信)。 为了使这种部署安全,etcd 实例之间的通信使用 SSL 进行鉴权。

API 服务器标识

FEATURE STATE: Kubernetes v1.20 [alpha]

使用 API 服务器标识功能需要启用特性门控, 该功能默认不启用。 你可以在启动 API 服务器 的时候启用特性门控 APIServerIdentity 来激活 API 服务器标识:

  1. kube-apiserver \
  2. --feature-gates=APIServerIdentity=true \
  3. # …其他标记照常

在启动引导过程中,每个 kube-apiserver 会给自己分配一个唯一 ID。 该 ID 的格式是 kube-apiserver-{UUID}。 每个 kube-apiserver 会在 kube-system 名字空间 里创建一个 Lease 对象

Lease 对象的名字是 kube-apiserver 的唯一 ID。 Lease 对象包含一个标签 k8s.io/component=kube-apiserver。 每个 kube-apiserver 每过 IdentityLeaseRenewIntervalSeconds(默认是 10 秒)就会刷新它的 Lease 对象。 每个 kube-apiserver 每过 IdentityLeaseDurationSeconds(默认是 3600 秒)也会检查所有 kube-apiserver 的标识 Lease 对象, 并且会删除超过 IdentityLeaseDurationSeconds 时间还没被刷新的 Lease 对象。 可以在 kube-apiserver 的 identity-lease-renew-interval-secondsidentity-lease-duration-seconds 标记里配置 IdentityLeaseRenewIntervalSecondsIdentityLeaseDurationSeconds

启用该功能是使用 HA API 服务器协调相关功能(例如,StorageVersionAPI 特性门控)的前提条件。

拓展阅读

自动化高可用集群部署 - 设计文档

最后修改 February 01, 2021 at 11:02 AM PST : [zh] Sync web page for HA (74e7dc417)