05.部署 flannel 网络

kubernetes 要求集群内各节点(包括 master 节点)能通过 Pod 网段互联互通。flannel 使用 vxlan 技术为各节点创建一个可以互通的 Pod 网络,使用的端口为 UDP 8472,需要开放该端口(如公有云 AWS 等)。

flannel 第一次启动时,从 etcd 获取 Pod 网段信息,为本节点分配一个未使用的 /24 段地址,然后创建 flannel.1(也可能是其它名称,如 flannel1 等) 接口。

flannel 将分配的 Pod 网段信息写入 /run/flannel/docker 文件,docker 后续使用这个文件中的环境变量设置 docker0 网桥。

下载和分发 flanneld 二进制文件

https://github.com/coreos/flannel/releases 页面下载最新版本的发布包:

  1. mkdir flannel
  2. wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
  3. tar -xzvf flannel-v0.10.0-linux-amd64.tar.gz -C flannel

分发 flanneld 二进制文件到集群所有节点:

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. scp flannel/{flanneld,mk-docker-opts.sh} k8s@${node_ip}:/opt/k8s/bin/
  6. ssh k8s@${node_ip} "chmod +x /opt/k8s/bin/*"
  7. done

创建 flannel 证书和私钥

flannel 从 etcd 集群存取网段分配信息,而 etcd 集群启用了双向 x509 证书认证,所以需要为 flanneld 生成证书和私钥。

创建证书签名请求:

  1. cat > flanneld-csr.json <<EOF
  2. {
  3. "CN": "flanneld",
  4. "hosts": [],
  5. "key": {
  6. "algo": "rsa",
  7. "size": 2048
  8. },
  9. "names": [
  10. {
  11. "C": "CN",
  12. "ST": "BeiJing",
  13. "L": "BeiJing",
  14. "O": "k8s",
  15. "OU": "4Paradigm"
  16. }
  17. ]
  18. }
  19. EOF
  • 该证书只会被 kubectl 当做 client 证书使用,所以 hosts 字段为空;

生成证书和私钥:

  1. cfssl gencert -ca=/etc/kubernetes/cert/ca.pem \
  2. -ca-key=/etc/kubernetes/cert/ca-key.pem \
  3. -config=/etc/kubernetes/cert/ca-config.json \
  4. -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld
  5. ls flanneld*pem

将生成的证书和私钥分发到所有节点(master 和 worker):

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh root@${node_ip} "mkdir -p /etc/flanneld/cert && chown -R k8s /etc/flanneld"
  6. scp flanneld*.pem k8s@${node_ip}:/etc/flanneld/cert
  7. done

向 etcd 写入集群 Pod 网段信息

注意:本步骤只需执行一次

  1. source /opt/k8s/bin/environment.sh
  2. etcdctl \
  3. --endpoints=${ETCD_ENDPOINTS} \
  4. --ca-file=/etc/kubernetes/cert/ca.pem \
  5. --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. set ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 24, "Backend": {"Type": "vxlan"}}'
  • flanneld 当前版本 (v0.10.0) 不支持 etcd v3,故使用 etcd v2 API 写入配置 key 和网段数据;
  • 写入的 Pod 网段 ${CLUSTER_CIDR} 必须是 /16 段地址,必须与 kube-controller-manager 的 --cluster-cidr 参数值一致;

创建 flanneld 的 systemd unit 文件

  1. source /opt/k8s/bin/environment.sh
  2. export IFACE=eth0
  3. cat > flanneld.service << EOF
  4. [Unit]
  5. Description=Flanneld overlay address etcd agent
  6. After=network.target
  7. After=network-online.target
  8. Wants=network-online.target
  9. After=etcd.service
  10. Before=docker.service
  11. [Service]
  12. Type=notify
  13. ExecStart=/opt/k8s/bin/flanneld \\
  14. -etcd-cafile=/etc/kubernetes/cert/ca.pem \\
  15. -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\
  16. -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\
  17. -etcd-endpoints=${ETCD_ENDPOINTS} \\
  18. -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
  19. -iface=${IFACE}
  20. ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
  21. Restart=on-failure
  22. [Install]
  23. WantedBy=multi-user.target
  24. RequiredBy=docker.service
  25. EOF
  • mk-docker-opts.sh 脚本将分配给 flanneld 的 Pod 子网网段信息写入 /run/flannel/docker 文件,后续 docker 启动时使用这个文件中的环境变量配置 docker0 网桥;
  • flanneld 使用系统缺省路由所在的接口与其它节点通信,对于有多个网络接口(如内网和公网)的节点,可以用 -iface 参数指定通信接口,如上面的 eth0 接口;
  • flanneld 运行时需要 root 权限;

完整 unit 见 flanneld.service

分发 flanneld systemd unit 文件到所有节点

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. scp flanneld.service root@${node_ip}:/etc/systemd/system/
  6. done

启动 flanneld 服务

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh root@${node_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld"
  6. done

检查启动结果

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh k8s@${node_ip} "systemctl status flanneld|grep Active"
  6. done

确保状态为 active (running),否则查看日志,确认原因:

  1. $ journalctl -u flanneld

检查分配给各 flanneld 的 Pod 网段信息

查看集群 Pod 网段(/16):

  1. source /opt/k8s/bin/environment.sh
  2. etcdctl \
  3. --endpoints=${ETCD_ENDPOINTS} \
  4. --ca-file=/etc/kubernetes/cert/ca.pem \
  5. --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. get ${FLANNEL_ETCD_PREFIX}/config

输出:

{"Network":"172.30.0.0/16", "SubnetLen": 24, "Backend": {"Type": "vxlan"}}

查看已分配的 Pod 子网段列表(/24):

  1. source /opt/k8s/bin/environment.sh
  2. etcdctl \
  3. --endpoints=${ETCD_ENDPOINTS} \
  4. --ca-file=/etc/kubernetes/cert/ca.pem \
  5. --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. ls ${FLANNEL_ETCD_PREFIX}/subnets

输出:

  1. /kubernetes/network/subnets/172.30.81.0-24
  2. /kubernetes/network/subnets/172.30.29.0-24
  3. /kubernetes/network/subnets/172.30.39.0-24

查看某一 Pod 网段对应的节点 IP 和 flannel 接口地址:

  1. source /opt/k8s/bin/environment.sh
  2. etcdctl \
  3. --endpoints=${ETCD_ENDPOINTS} \
  4. --ca-file=/etc/kubernetes/cert/ca.pem \
  5. --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. get ${FLANNEL_ETCD_PREFIX}/subnets/172.30.81.0-24

输出:

{"PublicIP":"172.27.129.105","BackendType":"vxlan","BackendData":{"VtepMAC":"12:21:93:9e:b1:eb"}}

验证各节点能通过 Pod 网段互通

各节点上部署 flannel 后,检查是否创建了 flannel 接口(名称可能为 flannel0、flannel.0、flannel.1 等):

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh ${node_ip} "/usr/sbin/ip addr show flannel.1|grep -w inet"
  6. done

输出:

  1. inet 172.30.81.0/32 scope global flannel.1
  2. inet 172.30.29.0/32 scope global flannel.1
  3. inet 172.30.39.0/32 scope global flannel.1

在各节点上 ping 所有 flannel 接口 IP,确保能通:

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh ${node_ip} "ping -c 1 172.30.81.0"
  6. ssh ${node_ip} "ping -c 1 172.30.29.0"
  7. ssh ${node_ip} "ping -c 1 172.30.39.0"
  8. done