赵亚南技术经验


Mysql大数据量且多存储引擎场景下的完整+增量自动异地的物理层备份

发布日期:


假想场景:数据库Mysql5.1.X,已做“主-从”,在其中一台从库上备份,主库不执行备份,从库不停止,主从数据不一样的时间差尽量短,在备份中有slave信息(主库的二进制日志名和位置),以便于在不停主库的情况下,新建主-从,或者随时可恢复到某个时间点。MyISAM和InnoDB都存在,备份要保证数据一致性。

基于以上场景,采用了innobackupex+bash shell,实现自动完整+增量备份,实现自动邮件通知和FTP上传,以及本地和异地的备份滚动。
脚本中也有其它被注释了的备份方式,以供参考。

下载包,这里我下载了二制包
wget http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/Linux/x86_64/percona-xtrabackup-2.0.4-484.tar.gz
把命令拷贝到/usr/bin下即可

脚本的大致思路:以天为单位,首次运行是完整备份,下次将增量备份,恢复到最近的数据需要恢复所有增量备份。如果完整备份失败,那么要删除当天的备份目录,再开始。因为脚本是判断lsn.txt文件是否存在来决定本次该完整备份还是增量备份。

在介绍脚本之前,首先要说说Innodb存储引擎的热备
Innodb 存储引擎由于是事务性存储引擎,有redo 日志和相关的undo 信息,而且对数据的一致性和完整性的要求也比MyISAM 要严格很多,所以Innodb 的在线(热)物理备份要比MyISAM 复杂很多,比如你要考虑到备份的数据一致性,对备份MYSQL的影响,缓存的污染,CPU、磁盘I/O和网络的压力,恢复的难度,时间和恢复的方式等等,一般很难简单的通过几个手工命令来完成,大都是通过专门的Innodb在线物理备份软件来完成。

现在有比较好的软件:
一个是开源的:http://www.percona.com/software/percona-xtrabackup
innobackupex和xtrabackup
innobackupex是一个perl脚本集合,可以备份所有存储引擎,并可以保证其数据一致性,它会调用xtrabackup
xtrabackup是一个C语言编写的程序,只能备份innodb和xtrdb存储引擎的表

一个是被MySQL官方合并到付费企业版的:http://www.innodb.com/products/hot-backup/
官方文档:http://dev.mysql.com/doc/mysql-enterprise-backup/3.5/en/index.html

mysqlbackup和ibbackup
mysqlbackup是一个C语言编写的程序,可以备份所有存储引擎,并可以保证其数据一致性,是一个会调用ibbackup的命令
ibbackup只能备份innodb和存储引擎的表
另外innobackup可能是之前www.innodb.com做的一个perl命令集合。
至少在mysqlbackup3.5软件包中,innobackup和ibbackup命令被软链接到mysqlbackup命令,innobackup和ibbackup命令在未来很可能被替代。

innobackupex安装配置和使用
到官网下载相应版本的包,二进制包、RPM包、源码包均可。经测试,发现通过源码包安装非常麻烦,因为安装过程容易出很多问题。建议直接下载二进制包使用,设置一个PATH或者拷贝到/usr/bin下即可使用了

权限配置说明:
RELOAD and LOCK TABLES (unless the –no-lock option is specified) in order to FLUSH TABLES WITH
READ LOCK prior to start copying the files and
REPLICATION CLIENT in order to obtain the binary log position,
CREATE TABLESPACE in order to import tables (see Importing and Exporting Individual Tables) and
SUPER in order to start/stop the slave threads in a replication environment.

mysql>
CREATE USER ‘bakuser’@’localhost’ IDENTIFIED BY ‘pass’;
REVOKE ALL PRIVILEGES, GRANT OPTION FROM ‘bakuser’@’localhost’;
GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT,SUPER ON *.* TO ‘bakuser’@’pass’;
FLUSH PRIVILEGES;
或:
GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT,SUPER ON *.* TO ‘bakuser’@’localhost’ IDENTIFIED BY ‘pass’;
FLUSH PRIVILEGES;
注意,通过socket连接mysql实际上对root@localhost授权就够了。

示例:
下面是单独运行命令成功过的示例:
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=2 –slave-info –safe-slave-backup –use-memory=200MB /opt/data_bak/mysql_bak

在某次完整备份后第一次增量备份:
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=2 –slave-info –safe-slave-backup –use-memory=200MB –incremental –incremental-basedir=BASEDIR /opt/data_bak/mysql_bak

在最近完整备份后第二、三次增量备份:
或基于目录
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=2 –slave-info –safe-slave-backup –use-memory=200MB –incremental –incremental-basedir=BASEDIR /opt/data_bak/mysql_bak
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=2 –slave-info –safe-slave-backup –use-memory=200MB –incremental –incremental-basedir=incrementaldir1 /opt/data_bak/mysql_bak

或基于日志LSN
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=2 –slave-info –safe-slave-backup –use-memory=200MB –incremental –incremental-lsn=0:173917517 /opt/data_bak/mysql_bak
innobackupex –socket=/opt/mysql/var/mysql.sock –user=bakuser –password=pass –defaults-file=/opt/mysql/my.cnf –throttle=10 –slave-info –safe-slave-backup –use-memory=200MB –incremental –incremental-lsn=0:173918957 /opt/data_bak/mysql_bak

恢复:

先合并增量到完整备份
innobackupex –apply-log –redo-only BASE-DIR
innobackupex –apply-log –redo-only BASE-DIR –incremental-dir=INCREMENTAL-DIR-1
innobackupex –apply-log BASE-DIR –incremental-dir=INCREMENTAL-DIR-2 这是最后一个,也就是最新的增量
innobackupex –apply-log BASE-DIR
解后恢复到数据目录

更多资料:http://www.percona.com/software/percona-xtrabackup

脚本内容:

把脚本修改为适合自已的实际场景的,几乎只需要修改变量设定部分,变量设置不正确,脚本运行会报错,通过脚本的日志和innobackupex.log可以查看原因,比如MYSQL的配置文件路径(切记my.cnf中需要有datadir和innodb等相关设置),权限,本地备份目录,FTP目录等一定要再三检查。

建议:脚本中只启用了innobackupex备份,实际上,MYSQL备份最好逻辑备份和物理备份都同时进行,并且还定期做一份数据结构的备份,使各种备份的优势互补。

标签

bashshell linux mysql nginx tomcat windows win批处理 个人计算机 人生 健康 兴趣 古学渊源 回忆录 大好河山 存储 安全优化 探索和发现 数据备份 监控 虚拟化 转载 运维 黑客攻防

近期热门经验
最新评论
最新文章

作者:


bashshell linux mysql nginx tomcat windows win批处理 个人计算机 人生 健康 兴趣 古学渊源 回忆录 大好河山 存储 安全优化 探索和发现 数据备份 监控 虚拟化 转载 运维 黑客攻防


评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注