TiDB Lightning 部署与执行

本文主要介绍 TiDB Lightning 使用 Local-backend 进行数据导入的硬件需求,以及手动部署 TiDB Lightning 的方式。

注意事项

在使用 TiDB Lightning 前,需注意以下事项:

  • tidb-lightning 崩溃,集群会留在“导入模式”。若忘记转回“普通模式”,集群会产生大量未压缩的文件,继而消耗 CPU 并导致延迟。此时,需要使用 tidb-lightning-ctl 手动将集群转回“普通模式”:

    1. bin/tidb-lightning-ctl --switch-mode=normal

硬件需求

tidb-lightning为资源密集程序,为了优化效能,建议硬件配置如下:

  • 32+ 逻辑核 CPU
  • 20GB+ 内存
  • 足够储存整个数据源的 SSD 硬盘,读取速度越快越好
  • 使用万兆网卡,带宽需要 1GB/s 以上
  • 运行过程默认会占满 CPU,建议单独部署。条件不允许的情况下可以和其他组件(比如 tikv-server)部署在同一台机器上,然后通过配置 region-concurrency 限制 tidb-lightning 使用 CPU 资源。

注意:

  • tidb-lightning 是 CPU 密集型程序,如果和其它程序混合部署,需要通过 region-concurrency 限制 tidb-lightning 的 CPU 实际占用核数,否则会影响其他程序的正常运行。建议将混合部署机器上 75% 的 CPU 资源分配给 tidb-lightning。例如,机器为 32 核,则 tidb-lightningregion-concurrency 可设为 “24”。

此外,目标 TiKV 集群必须有足够空间接收新导入的数据。除了标准硬件配置以外,目标 TiKV 集群的总存储空间必须大于 数据源大小 × 副本数量 × 2。例如集群默认使用 3 副本,那么总存储空间需为数据源大小的 6 倍以上。

导出数据

使用 dumpling 从 MySQL 导出数据,如下:

  1. ./dumpling -h 127.0.0.1 -P 3306 -u root -t 16 -F 256MB -B test -f 'test.t[12]' -o /data/my_database/

其中:

  • -B test:从 test 数据库导出。
  • -f test.t[12]:只导出 test.t1test.t2 这两个表。
  • -t 16:使用 16 个线程导出数据。
  • -F 256MB:将每张表切分成多个文件,每个文件大小约为 256 MB。

如果数据源是 CSV 文件,请参考 CSV 支持获取配置信息。

部署 TiDB Lightning

本节介绍 TiDB Lightning 的部署方式:手动部署

手动部署 TiDB Lightning

第 1 步:部署 TiDB 集群

在开始数据导入之前,需先部署一套要进行导入的 TiDB 集群,建议使用最新版本进行部署。部署方法可参考使用 TiUP 部署 TiDB 集群

第 2 步:下载 TiDB Lightning 安装包

参考工具下载文档下载 TiDB Lightning 安装包(TiDB Lightning 完全兼容较低版本的 TiDB 集群,建议选择最新稳定版本)。

第 3 步:启动 tidb-lightning

  1. 从安装包上传 bin/tidb-lightningbin/tidb-lightning-ctl

  2. 将数据源写入到同样的机器。

  3. 配置 tidb-lightning.toml。对于没有出现在下述模版中的配置,TiDB Lightning 给出配置错误的提醒并退出。

    sorted-kv-dir 设置排序的键值对的临时存放地址,目标路径必须是一个空目录,目录空间须大于待导入数据集的大小。详情参见 TiDB Lightning 运行时资源要求

    1. [lightning]
    2. # 转换数据的并发数,默认为逻辑 CPU 数量,不需要配置。
    3. # 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。
    4. # region-concurrency =
    5. # 日志
    6. level = "info"
    7. file = "tidb-lightning.log"
    8. [tikv-importer]
    9. # backend 设置为 local 模式
    10. backend = "local"
    11. # 设置本地临时存储路径
    12. sorted-kv-dir = "/mnt/ssd/sorted-kv-dir"
    13. [mydumper]
    14. # 源数据目录。
    15. data-source-dir = "/data/my_database"
    16. [tidb]
    17. # 目标集群的信息。tidb-server 的监听地址,填一个即可。
    18. host = "172.16.31.1"
    19. port = 4000
    20. user = "root"
    21. password = ""
    22. # 表架构信息在从 TiDB 的“状态端口”获取。
    23. status-port = 10080
    24. # pd-server 的地址,填一个即可
    25. pd-addr = "172.16.31.4:2379"

    上面仅列出了 tidb-lightning 的基本配置信息。完整配置信息请参考tidb-lightning 配置说明

  4. 运行 tidb-lightning。如果直接在命令行中用 nohup 启动程序,可能会因为 SIGHUP 信号而退出,建议把 nohup 放到脚本里面,如:

    1. #!/bin/bash
    2. nohup ./tidb-lightning -config tidb-lightning.toml > nohup.out &

升级 TiDB Lightning

你可以通过替换二进制文件升级 TiDB Lightning,无需其他配置。重启 TiDB Lightning 的具体操作参见 FAQ

如果当前有运行的导入任务,推荐任务完成后再升级 TiDB Lightning。否则,你可能需要从头重新导入,因为无法保证断点可以跨版本工作。