pika新版binlog标记时间戳,因此开发了新旧binlog转换及新binlog转换到可读binlog的转换工具

工具目录:

pika/tools/binlog_tools/binlog_parser

使用参数:

  • -h — 显示帮助
  • -c —转换方式:new2old old2new new2read
  • -i — 输入的binlog 默认: ./old_log/write2file0
  • -o — 输出binlog的路径,默认 : ./new_log/

样例:

  1. . /binlog_parser -c old2new -i ./old_log/write2file0,write2file1write2file2 -o ./new_log/

注意:

  • 程序检查输入的binlog是否是连续的,因此请输入连续的binlog名
  • 程序检测binlog名字是否是write2file开头的,路径后是否跟随write2file等,否则都会打印相应错误
  • 由于manifest文件更新不一定及时,相应offset未更新入manifest的binlog数据在转换工程中会丢失

性能指标:

经测算,新旧binlog转换时间,100m文件转换时间为秒级,1到10秒不等。新binlog到可读binlog的转换到10秒到20秒不等

原文: https://github.com/Qihoo360/pika/wiki/%E6%96%B0%EF%BC%8C%E6%97%A7%EF%BC%8C%E5%8F%AF%E8%AF%BB-%E4%B8%89%E7%B1%BBbinlog%E8%BD%AC%E6%8D%A2%E5%B7%A5%E5%85%B7