Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1309885
  • 博文数量: 244
  • 博客积分: 1039
  • 博客等级: 少尉
  • 技术积分: 1562
  • 用 户 组: 普通用户
  • 注册时间: 2011-01-06 09:40
文章分类

全部博文(244)

文章存档

2021年(2)

2019年(6)

2018年(2)

2014年(1)

2013年(187)

2012年(47)

分类: Mysql/postgreSQL

2019-01-25 15:12:05

PostgreSQL基础备份_增量备份与任意点恢复


背景

  1. 操作错误,删除数据,进行恢复
  2. 数据库崩溃进行恢复


备份和恢复的原理

  1. 在某一时间点进行一次全量的基础备份,恢复只能基于这个基础备份
  2. 设置增量日志,不断的进行日志备份。这种日志是预写入日志(WAL),可以根据这个日志恢复到基础备份以来的任意事务点(时间点或者是设置的恢复点)


开发环境

  1. windows server 2008/windows 7
  2. PostgreSQL 9.4/(pg10稍有不同)
  3. 压缩文件gzip


Windows/pg9.4 备份步骤

  1. 备份与恢复都是需要在安装数据库的机器进行,建议使用的客户端为自带的pgadmin或者是命令行
  2. 下载windows版本的 gzip压缩软件,并安装。譬如:安装目录为:C:/gzip
  3. 找到数据库的数据目录。可以通过的命令行,show data_directory得到。如下:
    postgres=# show data_directory;
     data_directory
    -----------------
     D:/pg_data/data
    (1 row)
    
    SHOW 
  4. 在data的上级目录建立基础备份目录和增量日志目录。按照上面的路径例子:D:/pg_data/data,会得到如下的目录
    D:/pg_data/data
    D:/pg_data/data_bak         #直接拷贝data目录,预防失败情况
    D:/pg_data/pg_archive       #用于增量备份的日志
    D:/pg_data/pg_base          #用于基础备份 
  5. 修改配置文件: D:/pg_data/data/postgres.conf
    1. 打开归档
      archive_mode = on 
    2. 设置归档指令
      archive_command = 'C:/gzip/bin/gzip -c %p > D:/pg_data/pg_archive/%f.gz'
      #注释:%p:表示日志路径,%f:表示日志文件名,使用gzip进行压缩,否则日志非常大。大概有几百倍的压缩率。 
    3. 设置日志级别,至少为archive
      wal_level = archive
      #注释: minimal为最小的日志,这个不能用于日志的备份.至少是hot_standby才能做主从复制 
    4. 打开归档日志进程
      max_wal_senders = 2
      #表示开个新的进程把日志负责日志的传送。设置大于0即可 
    5. 可选,打开日志收集,主要是为了出现问题的时候查看日志,定位问题
      logging_collector = on 
    6. 视情况而定,设置wal日志的保留数目,有时候基础备份太大,导致wal被复写,导致备份失败
      wal_keep_segments= 200     # 200 * 16MB = 3200MB 的wal备份 
  6. 修改复制流权限配置文件 data/pg_hba.conf,否则基础备份会失败
    # replication privilege.
    host    replication     postgres        127.0.0.1/32            trust 
  7. 重启数据库服务
  8. 配置PostgreSQL的各种工具文件到环境变量Path中去, 主要是利用备份工具等,如
    C:\Program Files\PostgreSQL\9.4\bin 
  9. 进入windows命令行(cmd) ,执行如下命令,进行基础备份
    pg_basebackup -h 127.0.0.1 -U postgres -p 5430 -Ft -Pv -Xf -z -Z5 -D D:/pg_data/pg_base
    
    #命令的参数用途,参考 pg_basebackup --help 
    进行基础备份后,在目录D:/pg_data/pg_base/下面有文件:base.tar.gz,到这一步,必须成功,否则检测前面步骤出问题的地方。
  10. 一般此时会在 D:/pg_data/pg_archive目录下面生成日志备份文件,如果没有,尝试强制日志归档命令:
    select pg_switch_xlog(); 
    # 在pg10中为:select pg_switch_wal(); 
    此时,在日志归档目录中D:/pg_data/pg_archive中会出现归档日志,到这一步,也必须成功,否则检测前面步骤出现问题的地方。
  11. 若上面没有正常完成,查看base/pg_log/目录下面的最新日志,定位问题。


windows/pg9.4恢复步骤

假设恢复到某一个指定的时间:如:2018-10-19 10:00:00 (业务场景,在10:30错误的操作删除了某些数据,想恢复到:2018-10-10 10:00:00)

  1. 关闭数据库服务。备份data的数据为data_bak,防止恢复失败,导致更大的数据丢失。
  2. 删除data里面的所有内容,并解基础备份的数据D:/pg_data/pg_base/base.tar.gz到data目录中去。
  3. 在PostgreSQL的安装目录,C:\Program Files\PostgreSQL\9.4\share下,拷贝recovery.conf.sample文件到data目录下面,并修改名字为:recovery.conf
  4. 修改recovery.conf文件的内容
    1. 修改恢复命令
    restore_command = 'C:/gzip/bin/gzip -c -d D:/pg_data/pg_archive/%f.gz > %p' 
    1.修改恢复得到的时间点
    recovery_target_time = '2018-10-19 10:00:00 +08'
    # +08表示东八区 
  5. 启动数据库,即可恢复到指定的时间。


备份方案

  1. 建议后台程序/或者人工1个月执行一次基础备份。否则还原的时间太长,或者归档日志的丢失造成的损失
  2. 基础备份建议只是保留1年或者是半年。时间太长意义不大


其他

  1. Linux版本相对容易,步骤基本一致,采用直接的cp或者tar,gzip压缩备份恢复日志可实现。注意点是base权限为0600,recovery.conf权限为:0700
  2. lz4号称最快的压缩解压算法,在linux/windows上面实现都有问题
  3. windows实战过程,只有gzip压缩解压可行
  4. 直接采用复制日志文件的机制,windows的copy有问题,采用gnu的cp可行。这个方式有个问题,日志太大。造成磁盘空间浪费
阅读(11074) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~