Bifrost —- 面向生产环境的 MySQL 同步到 Redis,MongoDB 等服务的异构中间件

Bifrost 是一个可以通过界面配置,将 MySQL 数据库中的数据异构的方式同步到Redis,Mongodb,RabbitMQ等甚至自定义RPC服务里的 简单 高效 的 异构中间件 .

为什么选择 Bifrost ?
实时同步数据只要在界面上用 鼠标 点 点 点 …..

提供 Linux , mac , windows , freebsd 平台二进制可执行文件下载.

源码下载(你的点击 star 就是对 Bifrost 最大的支持!!!): Home - 图1 , 码云 Gitee

Bifrsot 支持同步到多种目标库, for example:

在线Bifrost界面体验

http://www.xbifrost.com/demo/

image

Bifrsot Diagram

image

Bifrost 特点

  • 支持 MySQL 所有存储类型

  • 界面化动态灵活配置不同的数据表及目标库

  • 多数据源,多种目标库支持

  • 同时支持 增量全量 数据同步

  • 宕机后重启自动恢复配置

  • 支持自定义插件开发,动态加载

  • 支持 Email 及 微信企业号等监控报警功能

  • 提供第三方监控平台访问接口(Http Basic验证)

  • 支持对 Null 的解析,但对 Null 的支持程度,取决于插件的支持,如果有 Null 数据,请查阅 相关插件文档

Bifrost 还不足的地方

  • 支持批量刷数据的插件,在数据同步异常的情况下,不支持错过当前数据同步功能,例如: ClickHouse,Kafka

  • datetime,timestamp 解析还不支持精确到毫秒,毫秒部分将会自动被丢弃

MySQL 版本(经过测试)

  • 5.1.73

  • 5.5.42

  • 5.6.36

  • 5.7.18

  • 8.0.11 (用户密码验证需要采用 mysql_native_password 方式)

安装

编译
  1. git clone https://github.com/brokercap/Bifrost.git
  2. make install prefix=./target
二进制文件安装
  1. wget https://github.com/brokercap/Bifrost/releases/download/v1.1.x-release/linux.zip
  2. unzip linux.zip
  3. cd linux
启动
  1. ./Bifrost-server start
停止
  1. ./Bifrost-server stop
界面管理

https://127.0.0.1:21036

用户名和密码是在 etc/Bifrost.ini 配置文件中配置的

默认用户名和密码

用户名:Bifrost

密码:Bifrost123

Docker启动
  1. docker pull jc3wish/bifrost
  2. mkdir -p /data/BifrostData
  3. docker run -d -p21036:21036 -v /data/BifrostData:/linux/data jc3wish/bifrost
配置
  1. vim Bifrost.ini
  2. [user]
  3. #登入用户名和密码
  4. #用户名在前,= 号后面是密码
  5. Bifrost=Bifrost123
  6. BifrostMonitor=Bifrost123
  7. [groups]
  8. #administrator 管理人员可以添加删除等操作
  9. #monitor 只能查看数据
  10. Bifrost=administrator
  11. BifrostMonitor=monitor
  12. [Bifrostd]
  13. #log写到入的文件夹,默认为启动文件所在文件夹下的logs目录
  14. #log_dir=/data/log/
  15. #监听端口,默认 0.0.0.0:21036
  16. listen=0.0.0.0:21036
  17. #通过界面配置的信息保存文件夹,默认为启动文件所在文件夹下的data目录
  18. data_dir=./
  19. #设置同步给第三方服务的队列大小,默认5000
  20. toserver_queue_size=5000
  21. #通道队列的大小,默认1000
  22. channel_queue_size=1000
  23. #是否支持动态加plugin so 插件,默认为false
  24. #这个参数只在 linux 下有效,其他平台全部为false
  25. dynamic_plugin=false
  26. #是否支持https
  27. tls=true
  28. #server.key 及 server.crt 相对于 Bifrost 的路径,也可以填绝对路径
  29. tls_key_file=./etc/server.key
  30. tls_crt_file=./etc/server.crt
  31. #采用什么方式存储,默认文件方式
  32. meta_storage_type=redis
  33. #存储介质的连接地址
  34. meta_storage_path=127.0.0.1:6379
  35. #用于区别实例的名字
  36. cluster_name=bifrostTestClusterName
生成https证书

参考证书生成

界面操作文档

Bifrost官网

感谢相关依懒包提供者

  • github.com/gmallard/stompngo
  • github.com/hprose/hprose-golang
  • github.com/Shopify/sarama
  • github.com/bradfitz/gomemcache/memcache
  • gopkg.in/mgo.v2
  • github.com/streadway/amqp
  • github.com/go-redis/redis
  • github.com/syndtr/goleveldb/leveldb
  • github.com/ClickHouse/clickhouse-go

QQ群号: 70331601

qq群