DM 任务配置文件介绍

本文档主要介绍 Data Migration (DM) 的任务配置文件 task.yaml，包含全局配置 和实例配置 两部分。

关于各配置项的功能和配置，请参阅数据同步功能。

关键概念

关于包括 source-id 和 DM-worker ID 在内的关键概念的介绍，请参阅关键概念。

配置顺序

  1. 编辑全局配置。
  2. 根据全局配置编辑实例配置。

全局配置

基础信息配置

  1. name: test                      # 任务名称，需要全局唯一。
  2. task-mode: all                  # 任务模式，可设为 "full"、"incremental"、"all"。
  3. is-sharding: true               # 是否为分库分表合并任务。
  4. meta-schema: "dm_meta"          # 下游储存 `meta` 信息的数据库。
  5. remove-meta: false              # 是否在任务同步开始前移除该任务名对应的 `meta`（`checkpoint` 和 `onlineddl`）。
  6. enable-heartbeat: false         # 是否开启 `heartbeat` 功能。
  8. target-database:                # 下游数据库实例配置。
  9.   host: "192.168.0.1"
  10.   port: 4000
  11.   user: "root"
  12.   password: ""                  # 如果不为空则需经过 dmctl 加密

task-mode

  • 描述：任务模式，可以通过任务模式来指定需要执行的数据迁移工作。
  • 值为字符串（full，incremental 或 all）。
    • full：只全量备份上游数据库，然后将数据全量导入到下游数据库。
    • incremental：只通过 binlog 把上游数据库的增量修改同步到下游数据库, 可以设置实例配置的 meta 配置项来指定增量同步开始的位置。
    • all：full + incremental。先全量备份上游数据库，将数据全量导入到下游数据库，然后从全量数据备份时导出的位置信息 (binlog position) 开始通过 binlog 增量同步数据到下游数据库。

功能配置集

全局配置主要包含下列功能配置集。

  1. routes:                                             # 上游和下游表之间的路由 table routing 规则集。
  2.   route-rule-1:
  3.     schema-pattern: "test_*"
  4.     table-pattern: "t_*"
  5.     target-schema: "test"
  6.     target-table: "t"
  7.   route-rule-2:
  8.     schema-pattern: "test_*"
  9.     target-schema: "test"
  11. filters:                                            # 上游数据库实例匹配的表的 binlog event filter 规则集。
  12.   filter-rule-1:
  13.     schema-pattern: "test_*"
  14.     table-pattern: "t_*"
  15.     events: ["truncate table", "drop table"]
  16.     action: Ignore
  17.   filter-rule-2:
  18.     schema-pattern: "test_*"
  19.     events: ["all dml"]                             # 只执行 schema `test_*` 下面所有的 DML event。
  20.     action: Do
  22. black-white-list:                                   # 该上游数据库实例匹配的表的 black & white list 过滤规则集。
  23.   bw-rule-1:
  24.     do-dbs: ["~^test.*", "user"]
  25.     ignore-dbs: ["mysql", "account"]
  26.     do-tables:
  27.     - db-name: "~^test.*"
  28.       tbl-name: "~^t.*"
  29.     - db-name: "user"
  30.       tbl-name: "information"
  31.     ignore-tables:
  32.     - db-name: "user"
  33.       tbl-name: "log"
  35. column-mappings:                                    # 上游数据库实例匹配的表的 column mapping 规则集。
  36.   cm-rule-1:
  37.     schema-pattern: "test_*"
  38.     table-pattern: "t_*"
  39.     expression: "partition id"
  40.     source-column: "id"
  41.     target-column: "id"
  42.     arguments: ["1", "test", "t", "_"]
  43.   cm-rule-2:
  44.     schema-pattern: "test_*"
  45.     table-pattern: "t_*"
  46.     expression: "partition id"
  47.     source-column: "id"
  48.     target-column: "id"
  49.     arguments: ["2", "test", "t", "_"]
  51. mydumpers:                                          # mydumper 处理单元运行配置参数。
  52.   global:
  53.     mydumper-path: "./mydumper"                     # mydumper binary 文件地址，这个无需设置，会由 Ansible 部署程序自动生成。
  54.     threads: 16                                     # mydumper 从上游数据库实例导出数据的线程数量。
  55.     chunk-filesize: 64                              # mydumper 生成的数据文件大小，单位为 MB。
  56.     skip-tz-utc: true
  57.     extra-args: "-B test -T t1,t2 --no-locks"
  59. loaders:                                            # loader 处理单元运行配置参数。
  60.   global:
  61.     pool-size: 16                                   # loader 并发执行 mydumper 的 SQL 文件的线程数量。
  62.     dir: "./dumped_data"                            # loader 读取 mydumper 输出文件的地址，同实例对应的不同任务必须不同（mydumper 会根据这个地址输出 SQL 文件）。
  64. syncers:                                            # syncer 处理单元运行配置参数。
  65.   global:
  66.     worker-count: 16                                # syncer 并发同步 binlog event 的线程数量。
  67.     batch: 1000                                     # syncer 同步到下游数据库的一个事务批次 SQL 语句数。
  68.     max-retry: 100                                  # syncer 同步到下游数据库出错的事务的重试次数（仅限于 DML 操作）。

示例配置

本小节定义具体的数据同步子任务，DM 支持从单个或者多个上游 MySQL 实例同步数据到同一个下游数据库实例。

  1. mysql-instances:
  2.   -
  3.     source-id: "mysql-replica-01"           # 上游实例或者复制组 ID，参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id` 配置。
  4.     meta:                                   # `task-mode` 为 `incremental` 且下游数据库的 `checkpoint` 不存在时 binlog 同步开始的位置; 如果 checkpoint 存在，则以 `checkpoint` 为准。
  5.       binlog-name: binlog-00001
  6.       binlog-pos: 4
  8.     route-rules: ["route-rule-1", "route-rule-2"]    # 该上游数据库实例匹配的表到下游数据库的 table routing 规则名称。
  9.     filter-rules: ["filter-rule-1"]                  # 该上游数据库实例匹配的表的 binlog event filter 规则名称。
  10.     column-mapping-rules: ["cm-rule-1"]              # 该上游数据库实例匹配的表的 column mapping 规则名称。
  11.     black-white-list:  "bw-rule-1"                   # 该上游数据库实例匹配的表的 black & white list 过滤规则名称。
  13.     mydumper-config-name: "global"          # mydumper 配置名称。
  14.     loader-config-name: "global"            # loader 配置名称。
  15.     syncer-config-name: "global"            # syncer 配置名称。
  17.   -
  18.     source-id: "mysql-replica-02"           # 上游实例或者复制组 ID，参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id` 配置。
  19.     mydumper-config-name: "global"          # mydumper 配置名称。
  20.     loader-config-name: "global"            # loader 配置名称。
  21.     syncer-config-name: "global"            # syncer 配置名称。

关于以上配置项的更多配置细节，参见功能配置集的相关配置项，对应关系如下：

配置项 相关配置项
route-rules routes
filter-rules filters
column-mapping-rules column-mappings
black-white-list black-white-list
mydumper-config-name mydumpers
loader-config-name loaders
syncer-config-name syncers