通过 TiUP 部署 DM 集群的拓扑文件配置

在部署或扩容 TiDB Data Migration (DM) 集群时,需要提供一份拓扑文件来描述集群拓扑,同样,修改配置也是通过编辑拓扑文件来实现的,区别在于修改配置时仅允许修改部分字段。

拓扑文件示例参考

文件结构

一个 DM 集群的拓扑文件可能包含以下区块:

  • global:集群全局配置,其中一些是集群的默认值,可以在实例里面单独配置
  • server_configs:组件全局配置,可单独针对每个组件配置,若在实例中存在同名配置项,那么以实例中配置的为准
  • master_servers:DM master 实例的配置,用来指定 DM 组件的 master 服务部署到哪些机器上
  • worker_servers:DM worker 实例的配置,用来指定 DM 组件的 worker 服务部署到哪些机器上
  • monitoring_servers:用来指定 Prometheus 部署在哪机器上,TiUP 支持部署多台 Prometheus 实例,但真实投入使用的只有第一个
  • grafana_servers:Grafana 实例的配置,用来指定 Grafana 部署在哪台机器上
  • alertmanager_servers:Alertemanager 实例的配置,用来指定 Alertmanager 部署在哪些机器上

global

global 区块为集群的全局配置,包含以下字段:

  • user:以什么用户来启动部署的集群,默认值:”tidb”,如果 <user> 字段指定的用户在目标机器上不存在,会自动尝试创建
  • group:自动创建用户时指定用户所属的用户组,默认和 <user> 字段值相同,若指定的组不存在,则自动创建
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,默认值:22
  • deploy_dir:每个组件的部署目录,默认值:”deploy”,其应用规则如下:
    • 如果在实例级别配置了绝对路径的 deploy_dir,那么实际部署目录为该实例设定的 deploy_dir
    • 对于每个实例,如果用户未配置 deploy_dir,其默认值为相对路径 <component-name>-<component-port>
    • 如果 global.deploy_dir 为绝对路径,那么组件会部署到 <global.deploy_dir>/<instance.deploy_dir> 目录
    • 如果 global.deploy_dir 为相对路径,那么组件会部署到 /home/<global.user>/<global.deploy_dir>/<instance.deploy_dir> 目录
  • data_dir:数据目录,默认值:”data”,其应用规则如下:
    • 如果在实例级别配置了绝对路径的 data_dir,那么实际数据目录为该实例设定的 data_dir
    • 对于每个实例,如果用户未配置 data_dir,其默认值为 <global.data_dir>
    • 如果 data_dir 为相对路径,那么组件数据将放到 <deploy_dir>/<data_dir> 中,其中 <deploy_dir> 的计算规则请参考 deploy_dir 字段的应用规则
  • log_dir:数据目录,默认值:”log”,其应用规则如下:
    • 如果在实例级别配置了绝对路径的 log_dir,那么实际日志目录为该实例设定的 log_dir
    • 对于每个实例,如果用户未配置 log_dir,其默认值为 <global.log_dir>
    • 如果 log_dir 为相对路径,那么组件日志将放到 <deploy_dir>/<log_dir> 中,其中 <deploy_dir> 的计算规则请参考 deploy_dir 字段的应用规则
  • os:目标机器的操作系统,该字段决定了向目标机器推送适配哪个操作系统的组件,默认值:linux
  • arch:目标机器的 CPU 架构,该字段决定了向目标机器推送哪个平台的二进制包,支持 amd64 和 arm64,默认值:amd64
  • resource_control:运行时资源控制,该字段下所有配置都将写入 systemd 的 service 文件中,默认不限制,支持控制的资源:
    • memory_limit: 限制运行时最大内存,例如 “2G” 表示最多使用 2GB 内存
    • cpu_quota:限制运行时最大 CPU 占用率,例如 “200%”
    • io_read_bandwidth_max:读磁盘 IO 的最大带宽,例如:”/dev/disk/by-path/pci-0000:00:1f.2-scsi-0:0:0:0 100M”
    • io_write_bandwidth_max:写磁盘 IO 的最大带宽,例如:”/dev/disk/by-path/pci-0000:00:1f.2-scsi-0:0:0:0 100M”
    • limit_core:控制 core dump 大小

global 配置示例:

  1. global:
  2. user: "tidb"
  3. resource_control:
  4. memory_limit: "2G"

上述配置指定使用 tidb 用户启动集群,同时限制每个组件运行时最多只能使用 2GB 内存。

server_configs

server_configs 用于配置服务,生成各组件的配置文件,类似 global 区块,该区块内的配置可以在具体的实例中被覆盖。主要包含以下字段:

server_configs 配置示例:

  1. server_configs:
  2. master:
  3. log-level: info
  4. rpc-timeout: "30s"
  5. rpc-rate-limit: 10.0
  6. rpc-rate-burst: 40
  7. worker:
  8. log-level: info

master_servers

master_servers 约定了将 DM 组件的 master 节点部署到哪些机器上,同时可以指定每台机器上的服务配置,master_servers 是一个数组,每个数组的元素包含以下字段:

  • host:指定部署到哪台机器,字段值填 IP 地址,不可省略
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,若不指定,则使用 global 区块中的 ssh_port
  • name:指定该 DM master 实例的名字,不同实例的名字必须唯一,否则无法部署
  • port:指定 DM master 提供给服务的端口,默认 8261
  • peer_port:指定 DM master 之间互相通信的端口,默认值:8291
  • deploy_dir:指定部署目录,若不指定,或指定为相对目录,则按照 global 中配置的 deploy_dir 生成
  • data_dir:指定数据目录,若不指定,或指定为相对目录,则按照 global 中配置的 data_dir 生成
  • log_dir:指定日志目录,若不指定,或指定为相对目录,则按照 global 中配置的 log_dir 生成
  • numa_node:为该实例分配 NUMA 策略,如果指定了该参数,需要确保目标机装了 numactl,在指定该参数的情况下会通过 numactl 分配 cpubind 和 membind 策略。该字段参数为 string 类型,字段值填 NUMA 节点 ID,比如 “0,1”
  • config:该字段配置规则和 server_configs 里的 master 配置规则相同,若配置了该字段,会将该字段内容和 server_configs 里的 master 内容合并(若字段重叠,以本字段内容为准),然后生成配置文件并下发到 host 指定的机器
  • oshost 字段所指定的机器的操作系统,若不指定该字段,则默认为 global 中的 os
  • archhost 字段所指定的机器的架构,若不指定该字段,则默认为 global 中的 arch
  • resource_control:针对该服务的资源控制,如果配置了该字段,会将该字段和 global 中的 resource_control 内容合并(若字段重叠,以本字段内容为准),然后生成 systemd 配置文件并下发到 host 指定机器。resource_control 的配置规则同 global 中的 resource_control
  • v1_source_path:从 v1.0.x 升级时,可指定该目录,该目录中应当存放有 V1 的源的配置文件

以上所有字段中,部分字段部署完成之后不能再修改。如下所示:

  • host
  • name
  • port
  • peer_port
  • deploy_dir
  • data_dir
  • log_dir
  • arch
  • os
  • v1_source_path

master_servers 配置示例:

  1. master_servers:
  2. - host: 10.0.1.11
  3. name: master1
  4. ssh_port: 22
  5. port: 8261
  6. peer_port: 8291
  7. deploy_dir: "/dm-deploy/dm-master-8261"
  8. data_dir: "/dm-data/dm-master-8261"
  9. log_dir: "/dm-deploy/dm-master-8261/log"
  10. numa_node: "0,1"
  11. # The following configs are used to overwrite the `server_configs.master` values.
  12. config:
  13. log-level: info
  14. rpc-timeout: "30s"
  15. rpc-rate-limit: 10.0
  16. rpc-rate-burst: 40
  17. - host: 10.0.1.18
  18. name: master2
  19. - host: 10.0.1.19
  20. name: master3

worker_servers

worker_servers 约定了将 DM 组件的 worker 节点部署到哪些机器上,同时可以指定每台机器上的服务配置,worker_servers 是一个数组,每个数组的元素包含以下字段:

  • host:指定部署到哪台机器,字段值填 IP 地址,不可省略
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,若不指定,则使用 global 区块中的 ssh_port
  • name:指定该 DM worker 实例的名字,不同实例的名字必须唯一,否则无法部署
  • port:指定 DM worker 提供给服务的端口,默认 8262
  • deploy_dir:指定部署目录,若不指定,或指定为相对目录,则按照 global 中配置的 deploy_dir 生成
  • data_dir:指定数据目录,若不指定,或指定为相对目录,则按照 global 中配置的 data_dir 生成
  • log_dir:指定日志目录,若不指定,或指定为相对目录,则按照 global 中配置的 log_dir 生成
  • numa_node:为该实例分配 NUMA 策略,如果指定了该参数,需要确保目标机装了 numactl,在指定该参数的情况下会通过 numactl 分配 cpubind 和 membind 策略。该字段参数为 string 类型,字段值填 NUMA 节点 ID,比如 “0,1”
  • config:该字段配置规则和 server_configs 里的 worker 配置规则相同,若配置了该字段,会将该字段内容和 server_configs 里的 worker 内容合并(若字段重叠,以本字段内容为准),然后生成配置文件并下发到 host 指定的机器
  • oshost 字段所指定的机器的操作系统,若不指定该字段,则默认为 global 中的 os
  • archhost 字段所指定的机器的架构,若不指定该字段,则默认为 global 中的 arch
  • resource_control:针对该服务的资源控制,如果配置了该字段,会将该字段和 global 中的 resource_control 内容合并(若字段重叠,以本字段内容为准),然后生成 systemd 配置文件并下发到 host 指定机器。resource_control 的配置规则同 global 中的 resource_control

以上所有字段中,部分字段部署完成之后不能再修改。如下所示:

  • host
  • name
  • port
  • deploy_dir
  • data_dir
  • log_dir
  • arch
  • os

worker_servers 配置示例:

  1. worker_servers:
  2. - host: 10.0.1.12
  3. ssh_port: 22
  4. port: 8262
  5. deploy_dir: "/dm-deploy/dm-worker-8262"
  6. log_dir: "/dm-deploy/dm-worker-8262/log"
  7. numa_node: "0,1"
  8. # config is used to overwrite the `server_configs.worker` values
  9. config:
  10. log-level: info
  11. - host: 10.0.1.19

monitoring_servers

monitoring_servers 约定了将 Prometheus 服务部署到哪台机器上,同时可以指定这台机器上的服务配置,monitoring_servers 是一个数组,每个数组元素包含以下字段:

  • host:指定部署到哪台机器,字段值填 IP 地址,不可省略
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,若不指定,则使用 global 区块中的 ssh_port
  • port:指定 Prometheus 提供服务的端口,默认值:9090
  • deploy_dir:指定部署目录,若不指定,或指定为相对目录,则按照 global 中配置的 deploy_dir 生成
  • data_dir:指定数据目录,若不指定,或指定为相对目录,则按照 global 中配置的 data_dir 生成
  • log_dir:指定日志目录,若不指定,或指定为相对目录,则按照 global 中配置的 log_dir 生成
  • numa_node:为该实例分配 NUMA 策略,如果指定了该参数,需要确保目标机装了 numactl,在指定该参数的情况下会通过 numactl 分配 cpubind 和 membind 策略。该字段参数为 string 类型,字段值填 NUMA 节点 ID,比如 “0,1”
  • storage_retention:Prometheus 监控数据保留时间,默认 “15d”
  • rule_dir:该字段指定一个本地目录,该目录中应当含有完整的 *.rules.yml 文件,这些文件会在集群配置初始化阶段被传输到目标机器上,作为 Prometheus 的规则
  • remote_config:用于支持将 Prometheus 数据写到远端,或从远端读取数据,该字段下有两个配置:
    • remote_write:参考 Prometheus 文档
    • remote_read:参考 Prometheus 文档
  • external_alertmanagers:若配置了 external_alertmanagers,Prometheus 会将配置行为报警通知到集群外的 Alertmanager。该字段为一个数组,数组的元素为每个外部的 Alertmanager,由 hostweb_port 字段构成
  • oshost 字段所指定的机器的操作系统,若不指定该字段,则默认为 global 中的 os
  • archhost 字段所指定的机器的架构,若不指定该字段,则默认为 global 中的 arch
  • resource_control:针对该服务的资源控制,如果配置了该字段,会将该字段和 global 中的 resource_control 内容合并(若字段重叠,以本字段内容为准),然后生成 systemd 配置文件并下发到 host 指定机器。resource_control 的配置规则同 global 中的 resource_control

以上所有字段中,部分字段部署完成之后不能再修改。如下所示:

  • host
  • port
  • deploy_dir
  • data_dir
  • log_dir
  • arch
  • os

monitoring_servers 配置示例:

  1. monitoring_servers:
  2. - host: 10.0.1.11
  3. rule_dir: /local/rule/dir
  4. remote_config:
  5. remote_write:
  6. - queue_config:
  7. batch_send_deadline: 5m
  8. capacity: 100000
  9. max_samples_per_send: 10000
  10. max_shards: 300
  11. url: http://127.0.0.1:8003/write
  12. remote_read:
  13. - url: http://127.0.0.1:8003/read
  14. external_alertmanagers:
  15. - host: 10.1.1.1
  16. web_port: 9093
  17. - host: 10.1.1.2
  18. web_port: 9094

grafana_servers

grafana_servers 约定了将 Grafana 服务部署到哪台机器上,同时可以指定这台机器上的服务配置,grafana_servers 是一个数组,每个数组元素包含以下字段:

  • host:指定部署到哪台机器,字段值填 IP 地址,不可省略
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,若不指定,则使用 global 区块中的 ssh_port
  • port:指定 Grafana 提供服务的端口,默认值:3000
  • deploy_dir:指定部署目录,若不指定,或指定为相对目录,则按照 global 中配置的 deploy_dir 生成
  • oshost 字段所指定的机器的操作系统,若不指定该字段,则默认为 global 中的 os
  • archhost 字段所指定的机器的架构,若不指定该字段,则默认为 global 中的 arch
  • username:Grafana 登录界面的用户名
  • password:Grafana 对应的密码
  • dashboard_dir:该字段指定一个本地目录,该目录中应当含有完整的 dashboard(*.json) 文件,这些文件会在集群配置初始化阶段被传输到目标机器上,作为 Grafana 的 dashboards
  • resource_control:针对该服务的资源控制,如果配置了该字段,会将该字段和 global 中的 resource_control 内容合并(若字段重叠,以本字段内容为准),然后生成 systemd 配置文件并下发到 host 指定机器。resource_control 的配置规则同 global中的 resource_control

DM 集群拓扑文件配置 - 图1

注意

如果配置了 grafana_serversdashboard_dir 字段,在执行 tiup cluster rename 命令进行集群重命名后,需要完成以下操作:

  1. 在本地的 dashboards 目录中,将 datasource 字段的值更新为新的集群名(datasource 是以集群名命名的)
  2. 执行 tiup cluster reload -R grafana 命令

以上所有字段中,部分字段部署完成之后不能再修改。如下所示:

  • host
  • port
  • deploy_dir
  • arch
  • os

grafana_servers 配置示例:

  1. grafana_servers:
  2. - host: 10.0.1.11
  3. dashboard_dir: /local/dashboard/dir

alertmanager_servers

alertmanager_servers 约定了将 Alertmanager 服务部署到哪些机器上,同时可以指定这台机器上的服务配置,alertmanager_servers 是一个数组,每个数组元素包含以下字段:

  • host:指定部署到哪台机器,字段值填 IP 地址,不可省略
  • ssh_port:指定连接目标机器进行操作的时候使用的 SSH 端口,若不指定,则使用 global 区块中的 ssh_port
  • web_port:指定 Alertmanager 提供网页服务的端口,默认值:9093
  • cluster_port:指定 Alertmanager 和其他 Alertmanager 通讯的端口,默认值:9094
  • deploy_dir:指定部署目录,若不指定,或指定为相对目录,则按照 global 中配置的 deploy_dir 生成
  • data_dir:指定数据目录,若不指定,或指定为相对目录,则按照 global 中配置的 data_dir 生成
  • log_dir:指定日志目录,若不指定,或指定为相对目录,则按照 global 中配置的 log_dir 生成
  • numa_node:为该实例分配 NUMA 策略,如果指定了该参数,需要确保目标机装了 numactl,在指定该参数的情况下会通过 numactl 分配 cpubind 和 membind 策略。该字段参数为 string 类型,字段值填 NUMA 节点 ID,比如 “0,1”
  • config_file:该字段指定一个本地文件,该文件会在集群配置初始化阶段被传输到目标机器上,作为 Alertmanager 的配置
  • oshost 字段所指定的机器的操作系统,若不指定该字段,则默认为 global 中的 os
  • archhost 字段所指定的机器的架构,若不指定该字段,则默认为 global 中的 arch
  • resource_control:针对该服务的资源控制,如果配置了该字段,会将该字段和 global 中的 resource_control 内容合并(若字段重叠,以本字段内容为准),然后生成 systemd 配置文件并下发到 host 指定机器。resource_control 的配置规则同 global 中的 resource_control

以上所有字段中,部分字段部署完成之后不能再修改。如下所示:

  • host
  • web_port
  • cluster_port
  • deploy_dir
  • data_dir
  • log_dir
  • arch
  • os

alertmanager_servers 配置示例:

  1. alertmanager_servers:
  2. - host: 10.0.1.11
  3. config_file: /local/config/file
  4. - host: 10.0.1.12
  5. config_file: /local/config/file