实时第三方数据复制

实时第三方数据复制

随着机器学习、人工智能的发展，越来越多的企业倾向于实时的获取数据的价值，而不满足于通过夜间运行批量任务作业的方式来处理信息。本文档将介绍如何将 DB2, Oracle, MySQL 的数据实时复制至 SequoiaDB 巨杉数据库中。

DB2和Oracle数据实时复制

对于 DB2 和 Oracle 的数据实时复制存在很多种方案，通常的做法如下：

使用 Oracle 官方数据迁移工具，如 OGG(Oracle GlodenGate)、CDC（Change Data Capture）
自研数据导入导出程序实现
使用第三方数据迁移工具

MySQL 数据实时复制

SequoiaDB 巨杉数据库作为分布式数据库，由数据库存储引擎与数据库实例两大模块构成。其中，数据库存储引擎模块是数据存储的核心，负责提供整个数据库的读写服务、数据的高可用与容灾、ACID 与分布式事务等全部核心数据服务能力。用户可以通过添加 SequoiaSQL-MySQL 实例，基于 binlog Replication 方式实时同步 MySQL 的数据至 SequoiaDB 中。在 MySQL 与 SequoiaDB 之间建立主从复制需要以下4个步骤：

安装部署 Sequoiasql-MySQL，详细步骤参见 SequoiaSQL-MySQL 安装部署
存量数据从 MySQL 迁移至 SequoiaSQL-MySQL
MySQL数据库开启 binlog 日志，配置为主库
SequoiaSQL-MySQL 开启 binlog 日志，配置为从库
配置 binlog Replication 主从关系

存量数据从 MySQL 迁移至 Sequoiadb-MySQL

MySQL 的 binlog Replication 机制只能实时同步增量数据，不能同步存量数据，因此存量数据需要使用 mydumper 工具导出，再使用 myloader 工具导入到 SequoiaSQL-MySQL 中。可参考mydumper&myloader的使用。

SequoiaSQL-MySQL 采用的存储引擎是 SequoiaDB 分布式数据库引擎，而非 InnoDB 引擎，对于 mydumper 导出的建表语句需要进行相应的修改，因此需要分别导出数据表结构以及数据。假设 MySQL 数据库中存在存量数据 info 库，将该库的数据迁移至 SequoiaSQL-MySQL 需要以下5个步骤：

导出 info 库的所有表结构：

mydumper -h sdbserver1 -P 3306 -u sdbadmin -p sdbadmin -d -t 4 -s 1000000 -e -B info -o /home/sdbadmin/info/schema

导出 info 库的所有数据表的数据：

mydumper -h sdbserver1 -P 3306 -u sdbadmin -p sdbadmin -m -t 4 -s 1000000 -e -B info -o /home/sdbadmin/info/data

修改表结构的存储引擎为 SequoiaDB，字符编码修改为 utf8mb4

导入 info 库的表结构至 SequoiaSQL-MySQL：

myloader -h sdbserver2 -P 3306 -u sdbadmin -p sdbadmin -t 4 -d /home/sdbadmin/info/schema

导入 info 库的数据表数据至 SequoiaSQL-MySQL的 info 库中：

myloader -h sdbserver2 -P 3306 -u sdbadmin -p sdbadmin -t 4 -d /home/sdbadmin/info/data

MySQL开启binlog

修改 MySQL 配置文件 /etc/mysql/mysql.conf.d/mysqld.cnf
```
[mysqld]
port=3306
log-bin=master-bin
server-id=1
```
重启 MySQL 服务
```
service mysql restart
```

查看 binlog 日志状态

mysql> show variables like '%log_bin%';
+---------------------------------+------------------------------------------------------+
| Variable_name                   | Value                                                |
+---------------------------------+------------------------------------------------------+
| log_bin                         | ON                                                   |
| log_bin_basename                | /opt/sequoiasql/mysql/database/3306/master-bin       |
| log_bin_index                   | /opt/sequoiasql/mysql/database/3306/master-bin.index |
| log_bin_trust_function_creators | OFF                                                  |
| log_bin_use_v1_row_events       | OFF                                                  |
| sql_log_bin                     | ON                                                   |
+---------------------------------+------------------------------------------------------+
6 rows in set (0.00 sec)

SequoiaSQL-MySQL 开启 binlog

修改 SequoiaSQL-MySQL 配置文件/opt/sequoiasql/mysql/database/3306/auto.cnf
```
[mysqld]
server-id=3
relay_log=relay-log
relay_log_index=relay-log.index
```
重启 SequoiaSQL-MySQL 服务
```
service sequoiasql-mysql restart
```

查看 replay_log 日志状态

mysql> show variables like '%relay_log%';
+---------------------------+-----------------------------------------------------+
| Variable_name             | Value                                               |
+---------------------------+-----------------------------------------------------+
| max_relay_log_size        | 0                                                   |
| relay_log                 | relay-log                                           |
| relay_log_basename        | /opt/sequoiasql/mysql/database/3306/relay-log       |
| relay_log_index           | /opt/sequoiasql/mysql/database/3306/relay-log.index |
| relay_log_info_file       | relay-log.info                                      |
| relay_log_info_repository | FILE                                                |
| relay_log_purge           | ON                                                  |
| relay_log_recovery        | OFF                                                 |
| relay_log_space_limit     | 0                                                   |
| sync_relay_log            | 10000                                               |
| sync_relay_log_info       | 10000                                               |
+---------------------------+-----------------------------------------------------+
11 rows in set (0.06 sec)

配置 Binlog Recplication 主从关系

在 MySQL 主库上查看主库 binlog 日志文件位置

mysql> show master status\G
*************************** 1. row ***************************
         File: master-bin.000001
     Position: 154
 Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set:
1 row in set (0.00 sec)

在主库上授权复制用户

mysql> grant replication slave,replication client on *.* to 'repl'@'%' identified by 'sequoiadb';
mysql> flush privileges;

在 SequoiaSQL-MySQL 从库上配置主从关系，使用有复制权限的用户账号连接主库，启动复制线程

reset slave;
change master to
master_host='sdbserver1',
master_user='repl',
master_password='sequoiadb',
master_port=3306,
master_log_file='master-bin.000001',
master_log_pos=154;
start slave;

查看 Slave 状态

mysql> show slave status\G
*************************** 1. row ***************************
           Slave_IO_State: Waiting for master to send event
              Master_Host: sdbserver1
              Master_User: repl
              Master_Port: 3306
            Connect_Retry: 60
          Master_Log_File: master-bin.000001
      Read_Master_Log_Pos: 154
           Relay_Log_File: relay-log.000002
            Relay_Log_Pos: 321
    Relay_Master_Log_File: master-bin.000001
         Slave_IO_Running: Yes
        Slave_SQL_Running: Yes
          Replicate_Do_DB:
      Replicate_Ignore_DB:
       Replicate_Do_Table:
   Replicate_Ignore_Table:
  Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
               Last_Errno: 0
               Last_Error:
             Skip_Counter: 0
      Exec_Master_Log_Pos: 154
          Relay_Log_Space: 522
          Until_Condition: None
           Until_Log_File:
            Until_Log_Pos: 0
       Master_SSL_Allowed: No
       Master_SSL_CA_File:
       Master_SSL_CA_Path:
          Master_SSL_Cert:
        Master_SSL_Cipher:
           Master_SSL_Key:
    Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
            Last_IO_Errno: 0
            Last_IO_Error:
           Last_SQL_Errno: 0
           Last_SQL_Error:
Replicate_Ignore_Server_Ids:
         Master_Server_Id: 1
              Master_UUID: dec14b1d-b772-11e9-af76-0050562a7848
         Master_Info_File: /opt/sequoiasql/mysql/database/3306/master.info
                SQL_Delay: 0
      SQL_Remaining_Delay: NULL
  Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
       Master_Retry_Count: 86400
              Master_Bind:
  Last_IO_Error_Timestamp:
 Last_SQL_Error_Timestamp:
           Master_SSL_Crl:
       Master_SSL_Crlpath:
       Retrieved_Gtid_Set:
        Executed_Gtid_Set:
            Auto_Position: 0
     Replicate_Rewrite_DB:
             Channel_Name:
       Master_TLS_Version:
1 row in set (0.03 sec)

至此，基于 binlog Replication 实时数据同步环境已搭建完成。

mydumper&myloader安装

mydumper&myloader 是用于对MySQL数据库进行多线程备份和恢复的开源 (GNU GPLv3）工具。安装部署如下：

到 mydumper 官网下载 mydumper安装包
切换到 root 权限用户，执行以下命令安装

Centos6 / Red Hat6:

sudo yum install mydumper-0.9.5-2.el6.x86_64.rpm

Centos7 / Red Hat7:

sudo yum install mydumper-0.9.5-2.el7.x86_64.rpm

Ubuntu / Debian

sudo dkpg -i mydumper_0.9.5-2.xenial_amd64.deb

小结

SequoiaDB 巨杉数据库支持通过 Oracle 官方迁移工具、第三方迁移工具等方式从 DB2、Oracle 中实时同步数据至 SequoiaDB 以及支持基于 MySQL 的 binlog Replication 机制实时复制 MySQL 的数据至 SequoiaDB 中。