Chinaunix首页 | 论坛 | 博客

赵可可的BLOG

首页　| 　博文目录　| 　关于我

visician

  • 博客访问： 109971
  • 博文数量： 13
  • 博客积分： 10
  • 博客等级： 民兵
  • 技术积分： 195
  • 用 户 组： 普通用户
  • 注册时间： 2012-10-23 13:16
个人简介

数据库领域专心吃草

文章分类

全部博文（13）

文章存档

2015年（1）

2014年（4）

2013年（8）

我的朋友
最近访客
推荐博文
相关博文
分享mysql单表恢复工具binlogback

分类： Mysql/postgreSQL

2015-06-10 20:59:45

在维护mysql的经验中，很多时候我们需要进行单表恢复，以应对误操作 或者sql注入引起的故障，本人也在实际的工作中遇到若干次开发误操作需要恢复数据的情况。
为了方便的恢复数据，所以写了一个逆向解析binlog的工具，能够方便的进行单表恢复操作。目前仅支持5.5，binlog格式必须为row格式
工具下载地址：，具体的限制以及使用方法请查看README

使用演示：
创建表unit.t1

点击(此处)折叠或打开

  1. create table t1(c1 int not null primary key,c2 varchar(50),c3 datetime)
插入部分数据：

点击(此处)折叠或打开

  1. unit> insert into t1 values (1,"xxxx",now());
  2. Query OK, 1 row affected (0.00 sec)

  4. unit> insert into t1 values (2,"a",now());
  5. Query OK, 1 row affected (0.00 sec)

  7. unit> insert into t1 values (3,"b",now());
  8. Query OK, 1 row affected (0.00 sec)

  10. unit> select * from t1;
  11. +----+------+---------------------+
  12. | c1 | c2 | c3 |
  13. +----+------+---------------------+
  14. | 1 | xxxx | 2015-06-10 20:33:34 |
  15. | 2 | a | 2015-06-10 20:33:40 |
  16. | 3 | b | 2015-06-10 20:33:46 |
  17. +----+------+---------------------+
  18. 3 rows in set (0.00 sec)
这时候我们模拟一个误操作，删除所有的数据：

点击(此处)折叠或打开

  1. unit> delete from t1;
  2. Query OK, 3 rows affected (0.00 sec)
查看binlog：

点击(此处)折叠或打开

  1. # at 4573
  2. #150610 20:33:34 server id 5295721 end_log_pos 4649 Query thread_id=909740 exec_time=0 error_code=0
  3. SET TIMESTAMP=1433939614/*!*/;
  4. SET @@session.time_zone='SYSTEM'/*!*/;
  5. BEGIN
  6. /*!*/;
  7. # at 4649
  8. # at 4694
  9. #150610 20:33:34 server id 5295721 end_log_pos 4694 Table_map: `unit`.`t1` mapped to number 83
  10. #150610 20:33:34 server id 5295721 end_log_pos 4741 Write_rows: table id 83 flags: STMT_END_F

  12. BINLOG '
  13. ni54VRNpzlAALQAAAFYSAAAAAFMAAAAAAAEABHVuaXQAAnQxAAMDDwwClgAG
  14. ni54VRdpzlAALwAAAIUSAAAAAFMAAAAAAAEAA//4AQAAAAR4eHh4xpL2rVMSAAA=
  15. '/*!*/;
  16. ### INSERT INTO unit.t1
  17. ### SET
  18. ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
  19. ### @2='xxxx' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  20. ### @3=2015-06-10 20:33:34 /* DATETIME meta=0 nullable=1 is_null=0 */
  21. # at 4741
  22. #150610 20:33:34 server id 5295721 end_log_pos 4768 Xid = 3484054
  23. COMMIT/*!*/;
  24. # at 4768
  25. #150610 20:33:40 server id 5295721 end_log_pos 4844 Query thread_id=909740 exec_time=0 error_code=0
  26. SET TIMESTAMP=1433939620/*!*/;
  27. BEGIN
  28. /*!*/;
  29. # at 4844
  30. # at 4889
  31. #150610 20:33:40 server id 5295721 end_log_pos 4889 Table_map: `unit`.`t1` mapped to number 83
  32. #150610 20:33:40 server id 5295721 end_log_pos 4933 Write_rows: table id 83 flags: STMT_END_F

  34. BINLOG '
  35. pC54VRNpzlAALQAAABkTAAAAAFMAAAAAAAEABHVuaXQAAnQxAAMDDwwClgAG
  36. pC54VRdpzlAALAAAAEUTAAAAAFMAAAAAAAEAA//4AgAAAAFhzJL2rVMSAAA=
  37. '/*!*/;
  38. ### INSERT INTO unit.t1
  39. ### SET
  40. ### @1=2 /* INT meta=0 nullable=0 is_null=0 */
  41. ### @2='a' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  42. ### @3=2015-06-10 20:33:40 /* DATETIME meta=0 nullable=1 is_null=0 */
  43. # at 4933
  44. #150610 20:33:40 server id 5295721 end_log_pos 4960 Xid = 3484055
  45. COMMIT/*!*/;
  46. # at 4960
  47. #150610 20:33:46 server id 5295721 end_log_pos 5036 Query thread_id=909740 exec_time=0 error_code=0
  48. SET TIMESTAMP=1433939626/*!*/;
  49. BEGIN
  50. /*!*/;
  51. # at 5036
  52. # at 5081
  53. #150610 20:33:46 server id 5295721 end_log_pos 5081 Table_map: `unit`.`t1` mapped to number 83
  54. #150610 20:33:46 server id 5295721 end_log_pos 5125 Write_rows: table id 83 flags: STMT_END_F

  56. BINLOG '
  57. qi54VRNpzlAALQAAANkTAAAAAFMAAAAAAAEABHVuaXQAAnQxAAMDDwwClgAG
  58. qi54VRdpzlAALAAAAAUUAAAAAFMAAAAAAAEAA//4AwAAAAFi0pL2rVMSAAA=
  59. '/*!*/;
  60. ### INSERT INTO unit.t1
  61. ### SET
  62. ### @1=3 /* INT meta=0 nullable=0 is_null=0 */
  63. ### @2='b' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  64. ### @3=2015-06-10 20:33:46 /* DATETIME meta=0 nullable=1 is_null=0 */
  65. # at 5125
  66. #150610 20:33:46 server id 5295721 end_log_pos 5152 Xid = 3484056
  67. COMMIT/*!*/;
  68. # at 5152
  69. #150610 20:35:52 server id 5295721 end_log_pos 5220 Query thread_id=909740 exec_time=0 error_code=0
  70. SET TIMESTAMP=1433939752/*!*/;
  71. BEGIN
  72. /*!*/;
  73. # at 5220
  74. # at 5265
  75. #150610 20:35:52 server id 5295721 end_log_pos 5265 Table_map: `unit`.`t1` mapped to number 83
  76. #150610 20:35:52 server id 5295721 end_log_pos 5342 Delete_rows: table id 83 flags: STMT_END_F

  78. BINLOG '
  79. KC94VRNpzlAALQAAAJEUAAAAAFMAAAAAAAEABHVuaXQAAnQxAAMDDwwClgAG
  80. KC94VRlpzlAATQAAAN4UAAAAAFMAAAAAAAEAA//4AQAAAAR4eHh4xpL2rVMSAAD4AgAAAAFhzJL2
  81. rVMSAAD4AwAAAAFi0pL2rVMSAAA=
  82. '/*!*/;
  83. ### DELETE FROM unit.t1
  84. ### WHERE
  85. ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
  86. ### @2='xxxx' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  87. ### @3=2015-06-10 20:33:34 /* DATETIME meta=0 nullable=1 is_null=0 */
  88. ### DELETE FROM unit.t1
  89. ### WHERE
  90. ### @1=2 /* INT meta=0 nullable=0 is_null=0 */
  91. ### @2='a' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  92. ### @3=2015-06-10 20:33:40 /* DATETIME meta=0 nullable=1 is_null=0 */
  93. ### DELETE FROM unit.t1
  94. ### WHERE
  95. ### @1=3 /* INT meta=0 nullable=0 is_null=0 */
  96. ### @2='b' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
  97. ### @3=2015-06-10 20:33:46 /* DATETIME meta=0 nullable=1 is_null=0 */
  98. # at 5342
  99. #150610 20:35:52 server id 5295721 end_log_pos 5369 Xid = 3484242
  100. COMMIT/*!*/;
  101. DELIMITER ;
  102. # End of log file
  103. ROLLBACK /* added by mysqlbinlog */;
  104. /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/
可以看到我们的insert操作和delete操作，在时间2015-06-10 20:35:52 我们做了delete误操作。现在我们要恢复到这个时间点

点击(此处)折叠或打开

  1. [root@centos mysql_6302_binlog]# python binlogback.py -f ./mysql-bin.000022 -B unit -m desc -t t1 -c "c1,c2,c3" --begin-datetime="2015-06-10 20:35:52"
  2. #pos:5342
  3. BEGIN;
  4. insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 3, 'b', '2015-06-10 20:33:46');
  5. insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 2, 'a', '2015-06-10 20:33:40');
  6. insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 1, 'xxxx', '2015-06-10 20:33:34');
  7. COMMIT
可以看到工具把delete语句按照反序转换成了insert语句，把生成的语句执行：

点击(此处)折叠或打开

  1. unit> BEGIN;
  2. Query OK, 0 rows affected (0.00 sec)

  4. unit> insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 3, 'b', '2015-06-10 20:33:46');
  5. Query OK, 1 row affected (0.00 sec)

  7. unit> insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 2, 'a', '2015-06-10 20:33:40');
  8. Query OK, 1 row affected (0.00 sec)

  10. unit> insert into `unit`.`t1`(`c1`,`c2`,`c3`)values ( 1, 'xxxx', '2015-06-10 20:33:34');
  11. Query OK, 1 row affected (0.00 sec)

  13. unit> COMMIT;
  14. Query OK, 0 rows affected (0.00 sec)

  16. unit> select * from t1;
  17. +----+------+---------------------+
  18. | c1 | c2 | c3 |
  19. +----+------+---------------------+
  20. | 1 | xxxx | 2015-06-10 20:33:34 |
  21. | 2 | a | 2015-06-10 20:33:40 |
  22. | 3 | b | 2015-06-10 20:33:46 |
  23. +----+------+---------------------+
  24. 3 rows in set (0.00 sec)

可以看到表t1已经恢复到了我们删除前的状态。

工具限制：
1、要恢复的表必须有主键，不然恢复可能会引起严重的数据错误
2、目前仅支持mysql5.5，以及5.5的衍生版本，只要binlog协议没有发生改变，原理上都适用
3、只支持row格式的binlog
4、time类型解析有问题，如果time类型的值小于“00:00:00”那么会解析出错误的值
5、因为工作时间问题，暂时没有支持设置binlog position来恢复数据，后续会支持
优点：
1、方便快捷，单表恢复
2、修复了5.5的mysqlbinlog工具的一些BUG
3、使用python，没有依赖，下载即可使用

该工具是博主最近研究binlog协议生产出来的一个小工具，欢迎大家试用，多提BUG，多多交流。代码没有经过严格的构思，请勿吐槽代码水平。









阅读(5142) | 评论(2) | 转发(0) |
3

上一篇：mysql导出用户权限

下一篇：没有了

给主人留下些什么吧！~~

visician2015-07-20 14:06:29

守候2581314：脚本能共享下吗

文中有github地址，不过脚本效率不高，比较慢，有待改善

回复 | 举报

守候25813142015-07-09 17:38:07

脚本能共享下吗

回复 | 举报
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6