Curve 集群扩容

  1. 适用环境:
  2. 版本号: v1.2.6+
  3. CurveAdm版本：v0.2.0+
  4. 最后更新日期: 2023/09/30
  5. 层面: 数据面
  6. 运维级别: P1
  7. 所属产品: 存储
  8. 需求明细: 节点名称
  9. 验收标准: 扩容完成，且集群正常工作
  10. 参考步骤:
  1. 1. 使用工具查看当前集群是否健康：
  2.    $ curve bs status cluster
  3.    结果输出有下面字样则集群健康：Cluster health is:  ok
  5.    注：1. 如果集群健康（ok）的话，则继续后续的步骤。
  6.       2. 如果集群处于warn状态，需要判断是否是因为当前要扩容的服务导致的集群异常。如果不是当前要扩容的服务类型导致的，可以继续执行后续步骤。否则，则不要继续后续操作。
  7.       3. 如果集群是error状态，则扩容可能是无意义操作，所以不要执行后续步骤。
  9. 2. 提交主机列表：
  11.    2.1 添加新增机器至主机列表：
  12.    $ vim hosts.yaml
  14.      global:
  15.        user: curve
  16.        ssh_port: 22
  17.        private_key_file: /home/curve/.ssh/id_rsa
  19.      hosts:
  20.        - host: server-host1
  21.          hostname: 10.0.1.1
  22.        - host: server-host2
  23.          hostname: 10.0.1.2
  24.        - host: server-host3
  25.          hostname: 10.0.1.3
  26.        - host: server-host4  # 新增机器
  27.          hostname: 10.0.1.4
  28.        - host: server-host5  # 新增机器
  29.          hostname: 10.0.1.5
  30.        - host: server-host6  # 新增机器
  31.          hostname: 10.0.1.6
  33.    2.2 提交主机列表：
  34.    $ curveadm hosts commit hosts.yaml
  36.    注：如果找不到本地hosts.yaml文件，可以通过如下命令导出主机列表：
  37.    $ curveadm hosts show > hosts.yaml
  38. 3. 格式化磁盘
  39.    3.1 准备磁盘列表：
  40.        $ vim format.yaml
  41.        host:
  42.          - server-host4
  43.          - server-host5
  44.          - server-host6
  45.        disk:
  46.          - /dev/sda:/data/chunkserver0:90  # device:mount_path:format_percent
  47.          - /dev/sdb:/data/chunkserver1:90
  48.          - /dev/sdc:/data/chunkserver2:90
  50.     注：format.yaml文件中只需填写新增机器上的磁盘列表即可，切勿将已在集群中服务的磁盘列表填入其中，避免造成无法挽回的损失。
  52.     3.2 开始格式化
  53.         $ curveadm format -f format.yaml
  55. 3. 修改集群拓扑：
  57.    3.1 备份当前拓扑文件：
  58.    $ cp topology.yaml topology-old.yaml
  60.    注：如果找不到本地集群拓扑，则使用如下命令导出拓扑配置：
  61.    $ curveadm config show > topology.yaml
  63.    3.2 修改集群拓扑
  64.    $ vim topology.yaml
  66.      kind: curvebs
  67.      global:
  68.        container_image: quay.io/opencurve/curve/curvebs:latest
  69.        log_dir: ${home}/curvebs/logs/${service_role}
  70.        data_dir: ${home}/curvebs/data/${service_role}
  71.        variable:
  72.          home: /tmp
  73.          machine1: server-host1
  74.          machine2: server-host2
  75.          machine3: server-host3
  76.          machine4: server-host4  # 新增机器
  77.          machine5: server-host5  # 新增机器
  78.          machine6: server-host6  # 新增机器
  80.      # 如下以扩容chunkserver为例，将新增机器添加到chunkserver_services下
  81.      # 如果要扩容mds/snapshotclone，则将新增机器添加到mds_services/snapshot_services下即可
  82.        chunkserver_services:
  83.        config:
  84.          listen.ip: ${service_host}
  85.          listen.port: 82${format_replicas_sequence}
  86.          data_dir: /data/chunkserver${service_replicas_sequence}
  87.          copysets: 100
  88.        deploy:
  89.          - host: ${machine1}
  90.            replicas: 3
  91.          - host: ${machine2}
  92.            replicas: 3
  93.          - host: ${machine3}
  94.            replicas: 3
  95.          - host: ${machine4}  # 新增服务
  96.            replicas: 3
  97.          - host: ${machine5}  # 新增服务
  98.            replicas: 3
  99.          - host: ${machine6}  # 新增服务
  100.            replicas: 3
  102.     注：
  103.     * 每一次只能扩容同一种角色的服务
  104.     * 对于扩容chunkserver服务来说，每次扩容都会新增一个逻辑池，新增的服务都位于该逻辑池中，请确保每次扩容至少增加 3 台主机
  106. 4. 扩容集群：
  107.    $ curveadm scale-out topology.yaml
  109.    提醒：扩容操作属于幂等操作，用户在执行失败后可重复执行，不用担心服务残留问题
  111. 5. 再次查看集群服务状态，查看指定扩容服务是否启动成功（Status为Up状态）：
  112.    $ curveadm status
  114. 6. 查看集群是否健康：
  115.    $ curve bs status cluster
  116.    结果输出有下面字样则集群健康：Cluster health is:  ok
  118.    注：如果扩容前集群处于warn状态，但不是当前服务导致的问题。如果当前服务扩容成功，但是集群会仍然处于warn状态，是符合预期的。
  1. 参考影响:

  • 时间: 无

  • 业务方: 无

  • 用户：无

  1. 参考风险:

  • 数据面: 无

  • 管控面: 无

  • 恢复能力: 无需恢复

  1. 参考回滚策略: 无

  2. 需求发起方: CURVE

  3. 接收方:

  4. 评审责任人: SRE负责人，SA负责人，CURVE负责人

  5. 用户通知责任人: 技术支持

  6. 执行责任人: CURVE/SA

  7. 测试回归责任人: CURVE

  8. 执行审核责任人: SA/CURVE/SRE