TiDB Binlog 集群运维

Pump/Drainer 状态

Pump/Drainer 中状态的定义：

  • online：正常运行中。
  • pausing：暂停中，当使用 kill 或者 Ctrl+C 退出进程时，都将处于该状态。当 Pump/Drainer 安全退出了所有的内部线程后，将自己的状态切换为 paused。
  • paused：已暂停，处于该状态时 Pump 不接受写 binlog 的请求，也不继续为 Drainer 提供 binlog，Drainer 不再往下游同步数据。
  • closing：下线中，使用 binlogctl 控制 Pump/Drainer 下线，在进程退出前都处于该状态。下线时 Pump 不再接受写 binlog 的请求，等待所有的 binlog 数据被 Drainer 消费完。
  • offline：已下线，当 Pump 已经将已保存的所有 binlog 数据全部发送给 Drainer 后，该 Pump 将状态切换为 offline。

注意：

  • 当暂停 Pump/Drainer 时，数据同步会中断。
  • Pump/Drainer 的状态需要区分已暂停（paused）和下线（offline），Ctrl + C 或者 kill 进程，Pump 和 Drainer 的状态会变为 pausing，最终变为 paused。进入 paused 状态前 Pump 不需要将已保存的 binlog 数据全部发送到 Drainer，进入 offline 状态前 pump 需要将已保存的 binlog 数据全部发送到 Drainer。如果需要较长时间退出 Pump（或不再使用该 Pump），需要使用 binlogctl 工具来下线 Pump。Drainer 同理。
  • Pump 在下线时需要确认自己的数据被所有的非 offline 状态的 Drainer 消费了，所以在下线 Pump 时需要确保所有的 Drainer 都是处于 online 状态，否则 Pump 无法正常下线。
  • Pump 保存的 binlog 数据只有在被所有非 offline 状态的 Drainer 消费的情况下才会被 GC 处理。
  • 不要轻易下线 Drainer，只有在永久不需要使用该 Drainer 的情况下才需要下线 Drainer。

关于 Pump/Drainer 暂停、下线、状态查询、状态修改等具体的操作方法，参考如下 binlogctl 工具的使用方法介绍。

binlogctl 工具

  • 获取 TiDB 集群当前的 TSO
  • 查看 Pump/Drainer 状态
  • 修改 Pump/Drainer 状态
  • 暂停/下线 Pump/Drainer

使用 binlogctl 的场景：

  • 第一次运行 Drainer，需要获取 TiDB 集群当前的 TSO
  • Pump/Drainer 异常退出，状态没有更新，对业务造成影响，可以直接使用该工具修改状态
  • 同步出现故障/检查运行情况，需要查看 Pump/Drainer 的状态
  • 维护集群，需要暂停/下线 Pump/Drainer

binlogctl 下载链接：

  1. wget https://download.pingcap.org/tidb-{version}-linux-amd64.tar.gz
  2. wget https://download.pingcap.org/tidb-{version}-linux-amd64.sha256
  4. # 检查文件完整性，返回 ok 则正确
  5. sha256sum -c tidb-{version}-linux-amd64.sha256

对于 v2.1.0 GA 及以上版本，binlogctl 已经包含在 TiDB 的下载包中，其他版本需要单独下载 binlogctl:

  1. wget https://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz
  2. wget https://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.sha256
  4. # 检查文件完整性，返回 ok 则正确
  5. sha256sum -c tidb-enterprise-tools-latest-linux-amd64.sha256

binlogctl 使用说明：

命令行参数：

  1. Usage of binlogctl:
  2. -V
  3. 输出 binlogctl 的版本信息
  4. -cmd string
  5.     命令模式，包括 "generate_meta", "pumps", "drainers", "update-pump" ,"update-drainer", "pause-pump", "pause-drainer", "offline-pump", "offline-drainer"
  6. -data-dir string
  7.     保存 Drainer 的 checkpoint 的文件的路径 (默认 "binlog_position")
  8. -node-id string
  9.     Pump/Drainer 的 ID
  10. -pd-urls string
  11.     PD 的地址，如果有多个，则用"," 连接 (默认 "http://127.0.0.1:2379")
  12. -ssl-ca string
  13.     SSL CAs 文件的路径
  14. -ssl-cert string
  15.         PEM 格式的 X509 认证文件的路径
  16. -ssl-key string
  17.         PEM 格式的 X509 key 文件的路径
  18. -time-zone string
  19.     如果设置时区，在 "generate_meta" 模式下会打印出获取到的 tso 对应的时间。例如"Asia/Shanghai" 为 CST 时区，"Local" 为本地时区

命令示例：

  • 查询所有的 Pump/Drainer 的状态：

    设置 cmd 为 pumps 或者 drainers 来查看所有 Pump 或者 Drainer 的状态。例如：

    1.   bin/binlogctl -pd-urls=http://127.0.0.1:2379 -cmd pumps
    3.   [2019/04/28 09:29:59.016 +00:00] [INFO] [nodes.go:48] ["query node"] [type=pump] [node="{NodeID: 1.1.1.1:8250, Addr: pump:8250, State: online, MaxCommitTS: 408012403141509121, UpdateTime: 2019-04-28 09:29:57 +0000 UTC}"]

  • 修改 Pump/Drainer 的状态

    设置 cmd 为 update-pump 或者 update-drainer 来更新 Pump 或者 Drainer 的状态。Pump 和 Drainer 的状态可以为：online，pausing，paused，closing 以及 offline。例如：

    1.   bin/binlogctl -pd-urls=http://127.0.0.1:2379 -cmd update-pump -node-id ip-127-0-0-1:8250 -state paused

    这条命令会修改 Pump/Drainer 保存在 PD 中的状态。

  • 暂停/下线 Pump/Drainer

    分别设置 cmd 为 pause-pump、pause-drainer、offline-pump、offline-drainer 来暂停 Pump、暂停 Drainer、下线 Pump、下线 Drainer。例如：

    1.   bin/binlogctl -pd-urls=http://127.0.0.1:2379 -cmd pause-pump -node-id ip-127-0-0-1:8250

    binlogctl 会发送 HTTP 请求给 Pump/Drainer，Pump/Drainer 收到命令后会退出进程，并且将自己的状态设置为 paused/offline。

  • 生成 Drainer 启动需要的 meta 文件

    1.   bin/binlogctl -pd-urls=http://127.0.0.1:2379 -cmd generate_meta
    3.   INFO[0000] [pd] create pd client with endpoints [http://192.168.199.118:32379]
    4.   INFO[0000] [pd] leader switches to: http://192.168.199.118:32379, previous:
    5.   INFO[0000] [pd] init cluster id 6569368151110378289
    6.   [2019/04/28 09:33:15.950 +00:00] [INFO] [meta.go:114] ["save meta"] [meta="commitTS: 408012454863044609"]

    该命令会生成一个文件 {data-dir}/savepoint，该文件中保存了 Drainer 初次启动需要的 tso 信息。

使用 TiDB SQL 管理 Pump/Drainer

要查看和管理 binlog 相关的状态，可在 TiDB 中执行相应的 SQL 语句。

  • 查看 TiDB 是否开启 binlog

    1.   mysql> show variables like "log_bin";
    2.   +---------------+-------+
    3.   | Variable_name | Value |
    4.   +---------------+-------+
    5.   | log_bin       |  ON   |
    6.   +---------------+-------+

    值为 ON 时表示 TiDB 开启了 binlog。

  • 查看 Pump/Drainer 状态

    1.   mysql> show pump status;
    2.   +--------|----------------|--------|--------------------|---------------------|
    3.   | NodeID |     Address    | State  |   Max_Commit_Ts    |    Update_Time      |
    4.   +--------|----------------|--------|--------------------|---------------------|
    5.   | pump1  | 127.0.0.1:8250 | Online | 408553768673342237 | 2019-05-01 00:00:01 |
    6.   +--------|----------------|--------|--------------------|---------------------|
    7.   | pump2  | 127.0.0.2:8250 | Online | 408553768673342335 | 2019-05-01 00:00:02 |
    8.   +--------|----------------|--------|--------------------|---------------------|
    1.   mysql> show drainer status;
    2.   +----------|----------------|--------|--------------------|---------------------|
    3.   |  NodeID  |     Address    | State  |   Max_Commit_Ts    |    Update_Time      |
    4.   +----------|----------------|--------|--------------------|---------------------|
    5.   | drainer1 | 127.0.0.3:8249 | Online | 408553768673342532 | 2019-05-01 00:00:03 |
    6.   +----------|----------------|--------|--------------------|---------------------|
    7.   | drainer2 | 127.0.0.4:8249 | Online | 408553768673345531 | 2019-05-01 00:00:04 |
    8.   +----------|----------------|--------|--------------------|---------------------|

  • 修改 Pump/Drainer 状态

    1.   mysql> change pump to node_state ='paused' for node_id 'pump1'";
    2.   Query OK, 0 rows affected (0.01 sec)
    1.   mysql> change drainer to node_state ='paused' for node_id 'drainer1'";
    2.   Query OK, 0 rows affected (0.01 sec)

注意：

  1. 查看 binlog 开启状态以及 Pump/Drainer 状态的功能在 TiDB v2.1.7 及以上版本中支持。
  2. 修改 Pump/Drainer 状态的功能在 TiDB v3.0.0-rc.1 及以上版本中支持。该功能只修改 PD 中存储的 Pump/Drainer 状态，如果需要暂停/下线节点，仍然需要使用 binlogctl。