示例:使用 StatefulSet 部署 Cassandra

本教程描述了如何在 Kubernetes 上运行 Apache Cassandra。 数据库 Cassandra 需要永久性存储提供数据持久性(应用状态)。 在此示例中,自定义 Cassandra seed provider 使数据库在接入 Cassandra 集群时能够发现新的 Cassandra 实例。

使用StatefulSet可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息, 请参阅 StatefulSet

说明:

Cassandra 和 Kubernetes 都使用术语节点来表示集群的成员。 在本教程中,属于 StatefulSet 的 Pod 是 Cassandra 节点,并且是 Cassandra 集群的成员(称为 ring)。 当这些 Pod 在你的 Kubernetes 集群中运行时,Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 节点上。

当 Cassandra 节点启动时,使用 seed 列表来引导发现 ring 中的其他节点。 本教程部署了一个自定义的 Cassandra seed provider, 使数据库可以发现 Kubernetes 集群中出现的新的 Cassandra Pod。

教程目标

  • 创建并验证 Cassandra 无头(headless)Service
  • 使用 StatefulSet 创建一个 Cassandra ring。
  • 验证 StatefulSet。
  • 修改 StatefulSet。
  • 删除 StatefulSet 及其 Pod

准备开始

你必须拥有一个 Kubernetes 的集群,同时你必须配置 kubectl 命令行工具与你的集群通信。 建议在至少有两个不作为控制平面主机的节点的集群上运行本教程。 如果你还没有集群,你可以通过 Minikube 构建一个你自己的集群,或者你可以使用下面的 Kubernetes 练习环境之一:

要完成本教程,你应该已经熟悉 PodServiceStatefulSet

额外的 Minikube 设置说明

注意:

Minikube 默认需要 2048MB 内存和 2 个 CPU。 在本教程中,使用默认资源配置运行 Minikube 会出现资源不足的错误。为避免这些错误,请使用以下设置启动 Minikube:

  1. minikube start --memory 5120 --cpus=4

为 Cassandra 创建无头(headless) Services

在 Kubernetes 中,一个 Service 描述了一组执行相同任务的 Pod

以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找:

application/cassandra/cassandra-service.yaml 示例:使用 StatefulSet 部署 Cassandra - 图1

  1. apiVersion: v1
  2. kind: Service
  3. metadata:
  4. labels:
  5. app: cassandra
  6. name: cassandra
  7. spec:
  8. clusterIP: None
  9. ports:
  10. - port: 9042
  11. selector:
  12. app: cassandra

创建一个 Service 来跟踪 cassandra-service.yaml 文件中的所有 Cassandra StatefulSet:

  1. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-service.yaml

验证(可选)

获取 Cassandra Service。

  1. kubectl get svc cassandra

响应是:

  1. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
  2. cassandra ClusterIP None <none> 9042/TCP 45s

如果没有看到名为 cassandra 的服务,则表示创建失败。 请阅读调试服务,以解决常见问题。

使用 StatefulSet 创建 Cassandra Ring

下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。

说明: 本示例使用 Minikube 的默认配置程序。 请为正在使用的云更新以下 StatefulSet。

application/cassandra/cassandra-statefulset.yaml 示例:使用 StatefulSet 部署 Cassandra - 图2

  1. apiVersion: apps/v1
  2. kind: StatefulSet
  3. metadata:
  4. name: cassandra
  5. labels:
  6. app: cassandra
  7. spec:
  8. serviceName: cassandra
  9. replicas: 3
  10. selector:
  11. matchLabels:
  12. app: cassandra
  13. template:
  14. metadata:
  15. labels:
  16. app: cassandra
  17. spec:
  18. terminationGracePeriodSeconds: 1800
  19. containers:
  20. - name: cassandra
  21. image: gcr.io/google-samples/cassandra:v13
  22. imagePullPolicy: Always
  23. ports:
  24. - containerPort: 7000
  25. name: intra-node
  26. - containerPort: 7001
  27. name: tls-intra-node
  28. - containerPort: 7199
  29. name: jmx
  30. - containerPort: 9042
  31. name: cql
  32. resources:
  33. limits:
  34. cpu: "500m"
  35. memory: 1Gi
  36. requests:
  37. cpu: "500m"
  38. memory: 1Gi
  39. securityContext:
  40. capabilities:
  41. add:
  42. - IPC_LOCK
  43. lifecycle:
  44. preStop:
  45. exec:
  46. command:
  47. - /bin/sh
  48. - -c
  49. - nodetool drain
  50. env:
  51. - name: MAX_HEAP_SIZE
  52. value: 512M
  53. - name: HEAP_NEWSIZE
  54. value: 100M
  55. - name: CASSANDRA_SEEDS
  56. value: "cassandra-0.cassandra.default.svc.cluster.local"
  57. - name: CASSANDRA_CLUSTER_NAME
  58. value: "K8Demo"
  59. - name: CASSANDRA_DC
  60. value: "DC1-K8Demo"
  61. - name: CASSANDRA_RACK
  62. value: "Rack1-K8Demo"
  63. - name: POD_IP
  64. valueFrom:
  65. fieldRef:
  66. fieldPath: status.podIP
  67. readinessProbe:
  68. exec:
  69. command:
  70. - /bin/bash
  71. - -c
  72. - /ready-probe.sh
  73. initialDelaySeconds: 15
  74. timeoutSeconds: 5
  75. # 这些卷挂载是持久的。它们类似内联申领,但并不完全相同,
  76. # 因为这些卷挂载的名称需要与 StatefulSet 中某 Pod 卷完全匹配。
  77. volumeMounts:
  78. - name: cassandra-data
  79. mountPath: /cassandra_data
  80. # 这些将被控制器转换为卷申领,并挂载在上述路径。
  81. # 请勿将此设置用于生产环境,除非使用了 GCEPersistentDisk 或其他 SSD 持久盘。
  82. volumeClaimTemplates:
  83. - metadata:
  84. name: cassandra-data
  85. spec:
  86. accessModes: [ "ReadWriteOnce" ]
  87. storageClassName: fast
  88. resources:
  89. requests:
  90. storage: 1Gi
  91. ---
  92. kind: StorageClass
  93. apiVersion: storage.k8s.io/v1
  94. metadata:
  95. name: fast
  96. provisioner: k8s.io/minikube-hostpath
  97. parameters:
  98. type: pd-ssd

使用 cassandra-statefulset.yaml 文件创建 Cassandra StatefulSet:

  1. # 如果你能未经修改地应用 cassandra-statefulset.yaml,请使用此命令
  2. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml

如果你为了适合你的集群需要修改 cassandra-statefulset.yaml, 下载 https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml, 然后应用修改后的清单。

  1. # 如果使用本地的 cassandra-statefulset.yaml ,请使用此命令
  2. kubectl apply -f cassandra-statefulset.yaml

验证 Cassandra StatefulSet

  1. 获取 Cassandra StatefulSet:

    1. kubectl get statefulset cassandra

    响应应该与此类似:

    1. NAME DESIRED CURRENT AGE
    2. cassandra 3 0 13s

    StatefulSet 资源会按顺序部署 Pod。

  2. 获取 Pod 查看已排序的创建状态:

    1. kubectl get pods -l="app=cassandra"

    响应应该与此类似:

    1. NAME READY STATUS RESTARTS AGE
    2. cassandra-0 1/1 Running 0 1m
    3. cassandra-1 0/1 ContainerCreating 0 8s

    这三个 Pod 要花几分钟的时间才能部署。部署之后,相同的命令将返回类似于以下的输出:

    1. NAME READY STATUS RESTARTS AGE
    2. cassandra-0 1/1 Running 0 10m
    3. cassandra-1 1/1 Running 0 9m
    4. cassandra-2 1/1 Running 0 8m
  3. 运行第一个 Pod 中的 Cassandra nodetool, 以显示 ring 的状态。

    1. kubectl exec -it cassandra-0 -- nodetool status

    响应应该与此类似:

    1. Datacenter: DC1-K8Demo
    2. ======================
    3. Status=Up/Down
    4. |/ State=Normal/Leaving/Joining/Moving
    5. -- Address Load Tokens Owns (effective) Host ID Rack
    6. UN 172.17.0.5 83.57 KiB 32 74.0% e2dd09e6-d9d3-477e-96c5-45094c08db0f Rack1-K8Demo
    7. UN 172.17.0.4 101.04 KiB 32 58.8% f89d6835-3a42-4419-92b3-0e62cae1479c Rack1-K8Demo
    8. UN 172.17.0.6 84.74 KiB 32 67.1% a6a1e8c2-3dc5-4417-b1a0-26507af2aaad Rack1-K8Demo

修改 Cassandra StatefulSet

使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

  1. 运行以下命令:

    1. kubectl edit statefulset cassandra

    此命令你的终端中打开一个编辑器。需要更改的是 replicas 字段。下面是 StatefulSet 文件的片段示例:

    1. # 请编辑以下对象。以 '#' 开头的行将被忽略,
    2. # 且空文件将放弃编辑。如果保存此文件时发生错误,
    3. # 将重新打开并显示相关故障。
    4. apiVersion: apps/v1
    5. kind: StatefulSet
    6. metadata:
    7. creationTimestamp: 2016-08-13T18:40:58Z
    8. generation: 1
    9. labels:
    10. app: cassandra
    11. name: cassandra
    12. namespace: default
    13. resourceVersion: "323"
    14. uid: 7a219483-6185-11e6-a910-42010a8a0fc0
    15. spec:
    16. replicas: 3
  2. 将副本数(replicas)更改为 4,然后保存清单。

    StatefulSet 现在可以扩展到运行 4 个 Pod。

  3. 获取 Cassandra StatefulSet 验证更改:

    1. kubectl get statefulset cassandra

    响应应该与此类似:

    1. NAME DESIRED CURRENT AGE
    2. cassandra 4 4 36m

清理现场

删除或缩小 StatefulSet 不会删除与 StatefulSet 关联的卷。 这个设置是出于安全考虑,因为你的数据比自动清除所有相关的 StatefulSet 资源更有价值。

警告:

根据存储类和回收策略,删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除,你就能访问数据。

  1. 运行以下命令(连在一起成为一个单独的命令)删除 Cassandra StatefulSet 中的所有内容:

    1. grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
    2. && kubectl delete statefulset -l app=cassandra \
    3. && echo "Sleeping ${grace} seconds" 1>&2 \
    4. && sleep $grace \
    5. && kubectl delete persistentvolumeclaim -l app=cassandra
  2. 运行以下命令,删除你为 Cassandra 设置的 Service:

    1. kubectl delete service -l app=cassandra

Cassandra 容器环境变量

本教程中的 Pod 使用来自 Google 容器镜像库gcr.io/google-samples/cassandra:v13 镜像。上面的 Docker 镜像基于 debian-base, 并且包含 OpenJDK 8。

该镜像包括来自 Apache Debian 存储库的标准 Cassandra 安装。 通过使用环境变量,你可以更改插入到 cassandra.yaml 中的值。

环境变量默认值
CASSANDRA_CLUSTER_NAME‘Test Cluster’
CASSANDRA_NUM_TOKENS32
CASSANDRA_RPC_ADDRESS0.0.0.0

接下来