使用 TiDB Lightning 恢复 S3 兼容存储上的备份数据

本文描述了将 Kubernetes 上通过 TiDB Operator 备份的数据恢复到 TiDB 集群的操作过程。

本文使用的恢复方式基于 TiDB Operator v1.1 及以上的 CustomResourceDefinition (CRD) 实现,底层通过使用 TiDB Lightning TiDB-backend 来恢复数据。

目前,TiDB Lightning 支持三种后端: Importer-backendLocal-backendTiDB-backend。关于这三种后端的区别和选择,请参阅 TiDB Lightning 文档。如果要使用 Importer-backend 或者 Local-backend 导入数据,请参考使用 TiDB Lightning 导入集群数据

以下示例将兼容 S3 的存储(指定路径)上的备份数据恢复到 TiDB 集群。

环境准备

  1. 下载文件 backup-rbac.yaml,并执行以下命令在 test2 这个 namespace 中创建恢复所需的 RBAC 相关资源:

    1. kubectl apply -f backup-rbac.yaml -n test2
  2. 远程存储访问授权。

    如果从 Amazon S3 恢复集群数据,可以使用三种权限授予方式授予权限,参考 AWS 账号授权授权访问兼容 S3 的远程存储;使用 Ceph 作为后端存储测试恢复时,是通过 AccessKey 和 SecretKey 模式授权,设置方式可参考通过 AccessKey 和 SecretKey 授权

  3. 创建 restore-demo2-tidb-secret secret,该 secret 存放用来访问 TiDB 集群的 root 账号和密钥:

    1. kubectl create secret generic restore-demo2-tidb-secret --from-literal=user=root --from-literal=password=${password} --namespace=test2

数据库账户权限

权限 作用域
SELECT Tables
INSERT Tables
UPDATE Tables
DELETE Tables
CREATE Databases, tables
DROP Databases, tables
ALTER Tables

将指定备份数据恢复到 TiDB 集群

注意:

由于 rclone 存在问题,如果使用 Amazon S3 存储备份,并且 Amazon S3 开启了 AWS-KMS 加密,需要在本节示例中的 yaml 文件里添加如下 spec.s3.options 配置以保证备份恢复成功:

  1. spec:
  2. ...
  3. s3:
  4. ...
  5. options:
  6. - --ignore-checksum
  1. 创建 Restore customer resource (CR),将制定备份数据恢复至 TiDB 集群

    • 创建 Restore custom resource (CR),通过 AccessKey 和 SecretKey 授权的方式将指定的备份数据由 Ceph 恢复至 TiDB 集群:

      1. kubectl apply -f restore.yaml

      restore.yaml 文件内容如下:

      1. ---
      2. apiVersion: pingcap.com/v1alpha1
      3. kind: Restore
      4. metadata:
      5. name: demo2-restore
      6. namespace: test2
      7. spec:
      8. backupType: full
      9. to:
      10. host: ${tidb_host}
      11. port: ${tidb_port}
      12. user: ${tidb_user}
      13. secretName: restore-demo2-tidb-secret
      14. s3:
      15. provider: ceph
      16. endpoint: ${endpoint}
      17. secretName: s3-secret
      18. path: s3://${backup_path}
      19. # storageClassName: local-storage
      20. storageSize: 1Gi
    • 创建 Restore custom resource (CR),通过 AccessKey 和 SecretKey 授权的方式将指定的备份数据由 Amazon S3 恢复至 TiDB 集群:

      1. kubectl apply -f restore.yaml

      restore.yaml 文件内容如下:

      1. ---
      2. apiVersion: pingcap.com/v1alpha1
      3. kind: Restore
      4. metadata:
      5. name: demo2-restore
      6. namespace: test2
      7. spec:
      8. backupType: full
      9. to:
      10. host: ${tidb_host}
      11. port: ${tidb_port}
      12. user: ${tidb_user}
      13. secretName: restore-demo2-tidb-secret
      14. s3:
      15. provider: aws
      16. region: ${region}
      17. secretName: s3-secret
      18. path: s3://${backup_path}
      19. # storageClassName: local-storage
      20. storageSize: 1Gi
    • 创建 Restore custom resource (CR),通过 IAM 绑定 Pod 授权的方式将指定的备份数据恢复至 TiDB 集群:

      1. kubectl apply -f restore.yaml

      restore.yaml 文件内容如下:

      1. ---
      2. apiVersion: pingcap.com/v1alpha1
      3. kind: Restore
      4. metadata:
      5. name: demo2-restore
      6. namespace: test2
      7. annotations:
      8. iam.amazonaws.com/role: arn:aws:iam::123456789012:role/user
      9. spec:
      10. backupType: full
      11. to:
      12. host: ${tidb_host}
      13. port: ${tidb_port}
      14. user: ${tidb_user}
      15. secretName: restore-demo2-tidb-secret
      16. s3:
      17. provider: aws
      18. region: ${region}
      19. path: s3://${backup_path}
      20. # storageClassName: local-storage
      21. storageSize: 1Gi
    • 创建 Restore custom resource (CR),通过 IAM 绑定 ServiceAccount 授权的方式将指定的备份数据恢复至 TiDB 集群:

      1. kubectl apply -f restore.yaml

      restore.yaml 文件内容如下:

      1. ---
      2. apiVersion: pingcap.com/v1alpha1
      3. kind: Restore
      4. metadata:
      5. name: demo2-restore
      6. namespace: test2
      7. spec:
      8. backupType: full
      9. serviceAccount: tidb-backup-manager
      10. to:
      11. host: ${tidb_host}
      12. port: ${tidb_port}
      13. user: ${tidb_user}
      14. secretName: restore-demo2-tidb-secret
      15. s3:
      16. provider: aws
      17. region: ${region}
      18. path: s3://${backup_path}
      19. # storageClassName: local-storage
      20. storageSize: 1Gi
  2. 创建好 Restore CR 后,可通过以下命令查看恢复的状态:

    1. kubectl get rt -n test2 -owide

以上示例将兼容 S3 的存储(spec.s3.path 路径下)中的备份数据恢复到 TiDB 集群 spec.to.host。有关兼容 S3 的存储的配置项,可以参考 S3 字段介绍

更多 Restore CR 字段的详细解释参考Restore CR 字段介绍

注意:

TiDB Operator 会创建一个 PVC,用于数据恢复,备份数据会先从远端存储下载到 PV,然后再进行恢复。如果恢复完成后想要删掉这个 PVC,可以参考删除资源先把恢复 Pod 删掉,然后再把 PVC 删掉。

故障诊断

在使用过程中如果遇到问题,可以参考故障诊断