使用 kubeadm 创建一个高可用 etcd 集群

说明：

在本指南中，当 kubeadm 用作为外部 etcd 节点管理工具，请注意 kubeadm 不计划支持此类节点的证书更换或升级。对于长期规划是使用 etcdadm 增强工具来管理这方面。

默认情况下，kubeadm 运行单成员的 etcd 集群，该集群由控制面节点上的 kubelet 以静态 Pod 的方式进行管理。由于 etcd 集群只包含一个成员且不能在任一成员不可用时保持运行，所以这不是一种高可用设置。本任务，将告诉你如何在使用 kubeadm 创建一个 kubernetes 集群时创建一个外部 etcd：有三个成员的高可用 etcd 集群。

准备开始

  • 三个可以通过 2379 和 2380 端口相互通信的主机。本文档使用这些作为默认端口。不过，它们可以通过 kubeadm 的配置文件进行自定义。

  • 每个主机必须 安装有 docker、kubelet 和 kubeadm。

  • 一些可以用来在主机间复制文件的基础设施。例如 ssh 和 scp 就可以满足需求。

建立集群

一般来说，是在一个节点上生成所有证书并且只分发这些必要的文件到其它节点上。

说明：

kubeadm 包含生成下述证书所需的所有必要的密码学工具；在这个例子中，不需要其他加密工具。

  1. 将 kubelet 配置为 etcd 的服务管理器。

    说明： 你必须在要运行 etcd 的所有主机上执行此操作。

    由于 etcd 是首先创建的，因此你必须通过创建具有更高优先级的新文件来覆盖 kubeadm 提供的 kubelet 单元文件。

    1. cat << EOF > /etc/systemd/system/kubelet.service.d/20-etcd-service-manager.conf
    2. [Service]
    3. ExecStart=
    4. # 将下面的 "systemd" 替换为你的容器运行时所使用的 cgroup 驱动。
    5. # kubelet 的默认值为 "cgroupfs"。
    6. ExecStart=/usr/bin/kubelet --address=127.0.0.1 --pod-manifest-path=/etc/kubernetes/manifests --cgroup-driver=systemd
    7. Restart=always
    8. EOF
    10. systemctl daemon-reload
    11. systemctl restart kubelet

    检查 kubelet 的状态以确保其处于运行状态：

    1. systemctl status kubelet

  2. 为 kubeadm 创建配置文件。

    使用以下脚本为每个将要运行 etcd 成员的主机生成一个 kubeadm 配置文件。

    1. # 使用 IP 或可解析的主机名替换 HOST0、HOST1 和 HOST2
    2. export HOST0=10.0.0.6
    3. export HOST1=10.0.0.7
    4. export HOST2=10.0.0.8
    6. # 创建临时目录来存储将被分发到其它主机上的文件
    7. mkdir -p /tmp/${HOST0}/ /tmp/${HOST1}/ /tmp/${HOST2}/
    9. ETCDHOSTS=(${HOST0} ${HOST1} ${HOST2})
    10. NAMES=("infra0" "infra1" "infra2")
    12. for i in "${!ETCDHOSTS[@]}"; do
    13. HOST=${ETCDHOSTS[$i]}
    14. NAME=${NAMES[$i]}
    15. cat << EOF > /tmp/${HOST}/kubeadmcfg.yaml
    16. apiVersion: "kubeadm.k8s.io/v1beta2"
    17. kind: ClusterConfiguration
    18. etcd:
    19.     local:
    20.         serverCertSANs:
    21.         - "${HOST}"
    22.         peerCertSANs:
    23.         - "${HOST}"
    24.         extraArgs:
    25.             initial-cluster: infra0=https://${ETCDHOSTS[0]}:2380,infra1=https://${ETCDHOSTS[1]}:2380,infra2=https://${ETCDHOSTS[2]}:2380
    26.             initial-cluster-state: new
    27.             name: ${NAME}
    28.             listen-peer-urls: https://${HOST}:2380
    29.             listen-client-urls: https://${HOST}:2379
    30.             advertise-client-urls: https://${HOST}:2379
    31.             initial-advertise-peer-urls: https://${HOST}:2380
    32. EOF
    33. done

  3. 生成证书颁发机构

    如果你已经拥有 CA，那么唯一的操作是复制 CA 的 crt 和 key 文件到 etc/kubernetes/pki/etcd/ca.crt 和 /etc/kubernetes/pki/etcd/ca.key。 复制完这些文件后继续下一步，“为每个成员创建证书”。

    如果你还没有 CA，则在 $HOST0（你为 kubeadm 生成配置文件的位置）上运行此命令。

    1. kubeadm init phase certs etcd-ca

    这一操作创建如下两个文件

    • /etc/kubernetes/pki/etcd/ca.crt
    • /etc/kubernetes/pki/etcd/ca.key

  4. 为每个成员创建证书

    1. kubeadm init phase certs etcd-server --config=/tmp/${HOST2}/kubeadmcfg.yaml
    2. kubeadm init phase certs etcd-peer --config=/tmp/${HOST2}/kubeadmcfg.yaml
    3. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
    4. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
    5. cp -R /etc/kubernetes/pki /tmp/${HOST2}/
    6. # 清理不可重复使用的证书
    7. find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
    9. kubeadm init phase certs etcd-server --config=/tmp/${HOST1}/kubeadmcfg.yaml
    10. kubeadm init phase certs etcd-peer --config=/tmp/${HOST1}/kubeadmcfg.yaml
    11. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
    12. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
    13. cp -R /etc/kubernetes/pki /tmp/${HOST1}/
    14. find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
    16. kubeadm init phase certs etcd-server --config=/tmp/${HOST0}/kubeadmcfg.yaml
    17. kubeadm init phase certs etcd-peer --config=/tmp/${HOST0}/kubeadmcfg.yaml
    18. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
    19. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
    20. # 不需要移动 certs 因为它们是给 HOST0 使用的
    22. # 清理不应从此主机复制的证书
    23. find /tmp/${HOST2} -name ca.key -type f -delete
    24. find /tmp/${HOST1} -name ca.key -type f -delete

  5. 复制证书和 kubeadm 配置

    证书已生成，现在必须将它们移动到对应的主机。

    1. USER=ubuntu
    2. HOST=${HOST1}
    3. scp -r /tmp/${HOST}/* ${USER}@${HOST}:
    4. ssh ${USER}@${HOST}
    5. USER@HOST $ sudo -Es
    6. root@HOST $ chown -R root:root pki
    7. root@HOST $ mv pki /etc/kubernetes/

  6. 确保已经所有预期的文件都存在

    $HOST0 所需文件的完整列表如下：

    1. /tmp/${HOST0}
    2. └── kubeadmcfg.yaml
    3. ---
    4. /etc/kubernetes/pki
    5. ├── apiserver-etcd-client.crt
    6. ├── apiserver-etcd-client.key
    7. └── etcd
    8.     ├── ca.crt
    9.     ├── ca.key
    10.     ├── healthcheck-client.crt
    11.     ├── healthcheck-client.key
    12.     ├── peer.crt
    13.     ├── peer.key
    14.     ├── server.crt
    15.     └── server.key

    在 $HOST1 上：

    1. $HOME
    2. └── kubeadmcfg.yaml
    3. ---
    4. /etc/kubernetes/pki
    5. ├── apiserver-etcd-client.crt
    6. ├── apiserver-etcd-client.key
    7. └── etcd
    8.     ├── ca.crt
    9.     ├── healthcheck-client.crt
    10.     ├── healthcheck-client.key
    11.     ├── peer.crt
    12.     ├── peer.key
    13.     ├── server.crt
    14.     └── server.key

    在 $HOST2 上：

    1. $HOME
    2. └── kubeadmcfg.yaml
    3. ---
    4. /etc/kubernetes/pki
    5. ├── apiserver-etcd-client.crt
    6. ├── apiserver-etcd-client.key
    7. └── etcd
    8.     ├── ca.crt
    9.     ├── healthcheck-client.crt
    10.     ├── healthcheck-client.key
    11.     ├── peer.crt
    12.     ├── peer.key
    13.     ├── server.crt
    14.     └── server.key

  7. 创建静态 Pod 清单

    既然证书和配置已经就绪，是时候去创建清单了。 在每台主机上运行 kubeadm 命令来生成 etcd 使用的静态清单。

    1. root@HOST0 $ kubeadm init phase etcd local --config=/tmp/${HOST0}/kubeadmcfg.yaml
    2. root@HOST1 $ kubeadm init phase etcd local --config=/home/ubuntu/kubeadmcfg.yaml
    3. root@HOST2 $ kubeadm init phase etcd local --config=/home/ubuntu/kubeadmcfg.yaml

  8. 可选：检查群集运行状况

    1. docker run --rm -it \
    2. --net host \
    3. -v /etc/kubernetes:/etc/kubernetes k8s.gcr.io/etcd:${ETCD_TAG} etcdctl \
    4. --cert /etc/kubernetes/pki/etcd/peer.crt \
    5. --key /etc/kubernetes/pki/etcd/peer.key \
    6. --cacert /etc/kubernetes/pki/etcd/ca.crt \
    7. --endpoints https://${HOST0}:2379 endpoint health --cluster
    8. ...
    9. https://[HOST0 IP]:2379 is healthy: successfully committed proposal: took = 16.283339ms
    10. https://[HOST1 IP]:2379 is healthy: successfully committed proposal: took = 19.44402ms
    11. https://[HOST2 IP]:2379 is healthy: successfully committed proposal: took = 35.926451ms
    • 将 ${ETCD_TAG} 设置为你的 etcd 镜像的版本标签，例如 3.4.3-0。 要查看 kubeadm 使用的 etcd 镜像和标签，请执行 kubeadm config images list --kubernetes-version ${K8S_VERSION}， 例如，其中的 ${K8S_VERSION} 可以是 v1.17.0。
    • 将 ${HOST0} 设置为要测试的主机的 IP 地址。

接下来

一旦拥有了一个正常工作的 3 成员的 etcd 集群，你就可以基于 使用 kubeadm 外部 etcd 的方法， 继续部署一个高可用的控制平面。