4 - 安装Rancher

一、初始化Helm

注意 Helm运行需要依赖kubectl，点击了解安装和配置kubectl。

  • 配置Helm客户端访问权限

Helm在Kubernetes集群上安装Tiller服务以管理charts,由于RKE默认启用RBAC, 因此我们需要使用kubectl来创建一个serviceaccount，clusterrolebinding才能让Tiller具有部署到集群的权限。

在离线环境中安装有kubectl的主机上执行以下命令：

  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  4. kubectl --kubeconfig=$kubeconfig -n kube-system \
  5.     create serviceaccount tiller
  6. kubectl --kubeconfig=$kubeconfig \
  7.     create clusterrolebinding tiller \
  8.     --clusterrole cluster-admin \
  9.     --serviceaccount=kube-system:tiller

  • 创建registry secret(可选）

    • Helm初始化的时候会去拉取tiller镜像，如果镜像仓库为私有仓库，则需要配置登录凭证。在离线环境中安装有kubectl的主机上执行以下命令：
  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  4. kubectl --kubeconfig=$kubeconfig -n kube-system \
  5.     create secret docker-registry regcred \
  6.     --docker-server="reg.example.com" \
  7.     --docker-username=<user> \
  8.     --docker-password=<password> \
  9.     --docker-email=<email>
  • Patch the ServiceAccount
  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  4. kubectl --kubeconfig=$kubeconfig -n kube-system \
  5.     patch serviceaccount tiller -p '{"imagePullSecrets": [{"name\": "regcred"}]}'
  • 安装Helm客户端

在离线环境中安装有kubectl的主机上安装Helm客户端，参考安装Helm客户端了解Helm客户端安装。

  • 安装Helm Server(Tiller)

注意:1、helm init在缺省配置下，会去谷歌镜像仓库拉取gcr.io/kubernetes-helm/tiller镜像，并在Kubernetes集群上安装配置Tiller。离线环境下，可通过—tiller-image指定私有镜像仓库镜像。2、helm init在缺省配置下，会利用https://kubernetes-charts.storage.googleapis.com作为缺省的stable repository地址,并去更新相关索引文件。3、如果您是离线安装Tiller, 如果有内部的chart仓库，可通过—stable-repo-url指定内部chart地址；如果没有内部的chart仓库, 可通过添加—skip-refresh参数禁止Tiller更新索引。

在离线环境中安装有kubectl和Helm客户端的主机上执行以下命令

  1. kubeconfig=xxx.yaml
  3. helm_version=`helm version |grep Client | awk -F""\" '{print $2}'`
  4. helm init --kubeconfig=$kubeconfig --skip-refresh \
  5.     --service-account tiller \
  6.     --tiller-image registry.cn-shanghai.aliyuncs.com/rancher/tiller:${helm_version}

二、打包Rancher Charts模板

此步骤需要在能连接互联网的主机上操作，在可访问互联网并安装有Helm客户端的主机上执行以下操作。

  • 添加Rancher Charts仓库。

指定安装的版本(比如: latest or stable)，可通过版本选择查看版本说明。

  1. helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
  • 获取Rancher Charts离线包。

指定安装的版本(比如: latest或stable或者通过—version指定版本)，可通过版本选择查看版本说明。

  1. helm fetch rancher-stable/rancher --version v2.2.3

结果 默认在当前目录下生成rancher-vx.x.x.tgz压缩文件，可通过-d指定生成的压缩包路径，比如:helm fetch rancher-stable/rancher —version v2.2.3 -d /home，将会在/home目录下生成rancher-vx.x.x.tgz压缩文件。

三、离线安装Rancher

将生成的rancher-vx.x.x.tgz文件拷贝到离线环境安装有kubectl和Helm客户端的主机上，解压rancher-vx.x.x.tgz文件获得rancher文件夹。

  • 以TCP L4负载均衡器或者ingress作为访问入口
  • 使用权威认证证书

将服务证书和CA中间证书链合并名为tls.crt的文件中,将私钥复制到名为tls.key的文件中。使用kubectl创建类型为tls的secrets。

  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  3. kubectl --kubeconfig=$kubeconfig \
  4.     create namespace cattle-system
  6. kubectl --kubeconfig=$kubeconfig \
  7.     -n cattle-system create secret \
  8.     tls tls-rancher-ingress \
  9.     --cert=./tls.crt \
  10.     --key=./tls.key

注意 必须把服务证书文件和key文件重命名为tls.crt和tls.key。

然后执行以下命令进行rancher安装:

  1. # 指定kubeconfig配置文件
  3. kubeconfig=kube_configxxx.yml
  5. helm --kubeconfig=$kubeconfig install ./rancher \
  6.     --name rancher \
  7.     --namespace cattle-system \
  8.     --set hostname=<修改为自己的域名> \
  9.     --set ingress.tls.source=secret
  10.     --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable
  • 使用自己的自签名证书

如果使用的是自己创建的自签名证书，则需要创建证书secret和CA证书secret。

  1. # 指定kubeconfig配置文件
  3. kubeconfig=kube_configxxx.yml
  4. kubectl --kubeconfig=$kubeconfig \
  5.     create namespace cattle-system
  7. kubectl --kubeconfig=$kubeconfig \
  8.     -n cattle-system create \
  9.     secret tls tls-rancher-ingress \
  10.     --cert=./tls.crt \
  11.     --key=./tls.key
  13. kubectl --kubeconfig=$kubeconfig \
  14.     -n cattle-system \
  15.     create secret generic tls-ca \
  16.     --from-file=cacerts.pem

注意 必须保证文件名为cacerts.pem、tls.crt和tls.key。

然后执行以下命令进行rancher安装

  1. # 指定kubeconfig配置文件
  3. kubeconfig=kube_configxxx.yml
  5. helm --kubeconfig=$kubeconfig install ./rancher \
  6.     --name rancher \
  7.     --namespace cattle-system \
  8.     --set hostname=<修改为自己的域名> \
  9.     --set ingress.tls.source=secret \
  10.     --set privateCA=true \
  11.     --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable
  • 以外部HTTP L7负载均衡器作为访问入口（nginx为例）
  • 使用权威认证证书

使用外部七层负载均衡器作为访问入口，那么将需要把ssl证书配置在L7负载均衡器上面，如果是权威认证证书，rancher侧则无需配置证书。参考nginx配置示例了解L7负载均衡器证书配置方法。

  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  4. helm --kubeconfig=$kubeconfig install ./rancher \
  5.     --name rancher \
  6.     --namespace cattle-system \
  7.     --set hostname=<修改为自己的域名> \
  8.     --set tls=external \
  9.     --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable
  • 使用自己的自签名证书

使用外部七层负载均衡器作为访问入口，那么将需要把ssl证书配置在L7负载均衡器上面，如果是自己的自签名证书，则需要把CA证书以密文的形式导入rancher。参考nginx配置示例了解L7负载均衡器证书配置方法。

  1. # 指定kubeconfig配置文件
  3. kubeconfig=kube_configxxx.yml
  4. kubectl --kubeconfig=$kubeconfig \
  5.     create namespace cattle-system
  7. kubectl --kubeconfig=$kubeconfig \
  8.     -n cattle-system create \
  9.     secret generic tls-ca \
  10.     --from-file=cacerts.pem

注意 必须保证文件名为cacerts.pem。

然后执行以下命令进行rancher安装

  1. # 指定kubeconfig配置文件
  2. kubeconfig=kube_configxxx.yml
  4. helm --kubeconfig=$kubeconfig install ./rancher \
  5.     --name rancher \
  6.     --namespace cattle-system \
  7.     --set hostname=<修改为自己的域名> \
  8.     --set privateCA=true \
  9.     --set tls=external \
  10.     --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable

四、为Cluster Pod添加主机别名(/etc/hosts)(可选)

如果您没有内部DNS服务器而是通过添加/etc/hosts主机别名的方式指定的Rancher server域名，那么不管通过哪种方式(自定义、导入、Host驱动等)创建K8S集群，K8S集群运行起来之后，因为cattle-cluster-agent Pod和cattle-node-agent无法通过DNS记录找到Rancher server,最终导致无法通信。

解决方法

可以通过给cattle-cluster-agent Pod和cattle-node-agent添加主机别名(/etc/hosts)，让其可以正常通信(前提是IP地址可以互通)。

  • cattle-cluster-agent pod
  1. #指定kubectl配置文件
  2. export kubeconfig=xxx/xxx/xx.kubeconfig.yaml
  4. kubectl --kubeconfig=$kubeconfig -n cattle-system \
  5. patch deployments cattle-cluster-agent --patch '{
  6.     "spec": {
  7.         "template": {
  8.             "spec": {
  9.                 "hostAliases": [
  10.                     {
  11.                         "hostnames":
  12.                         [
  13.                             "demo.cnrancher.com"
  14.                         ],
  15.                             "ip": "192.168.1.100"
  16.                     }
  17.                 ]
  18.             }
  19.         }
  20.     }
  21. }'
  • cattle-node-agent pod
  1. #指定kubectl配置文件
  2. export kubeconfig=xxx/xxx/xx.kubeconfig.yaml
  4. kubectl --kubeconfig=$kubeconfig -n cattle-system \
  5. patch daemonsets cattle-node-agent --patch '{
  6.     "spec": {
  7.         "template": {
  8.             "spec": {
  9.                 "hostAliases": [
  10.                     {
  11.                         "hostnames":
  12.                         [
  13.                             "xxx.rancher.com"
  14.                         ],
  15.                             "ip": "192.168.1.100"
  16.                     }
  17.                 ]
  18.             }
  19.         }
  20.     }
  21. }'

1、替换其中的域名和IP 2、注意json中的引号。