MySQL表结构同步

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

   现在全身心投入到MySQL中。

     项目要求:将开发环境中的数据库的修改同步至线上环境。

     开发者给出的解决办法是:利用像Python 中的South框架,自动将开发环境的变更同步至生产环境。这个对于DBA来说是无法承受的(除非是创建数据库结果类似的语句)。数据库变更在生产环境执行,必须事先经过评估。对业务的影响降到最低,这个就设计到了重新设计索引,或者采用在线修改工具之类的。本文暂时先不讨论,下面给出表同步的解决办法。

     以前的做法是通过navicate的工具将一个一个的数据库进行对比或者自己写脚本Mysqldump 只dump 表结构,利用diff 挨个对比,在数据库实例量少的情况下,可以接受。总之个人认为 不符合运维自动化的理念。

     最近尝试了一种新的工具-Schema Sync,这个是基于Python语言,遵守Apache License, Version 2.0. 开源协议。

     描述信息:

      1、该工具不会修改数据库,至会搜集在不同数据库之间的差异并生成SQL脚本。

      2、生成的SQL语句,会自动添加after,first 等关键字

      3、对于重命名的表或者字段,该工具生成先删除在重建的SQL语句

      4、对于MySQL的分区功能暂不支持。

     下载并安装:

     安装条件:

      1、Python 2.4, 2.5, or 2.6

       2、MySQL, version 5.0 or higher

       3、MySQLdb, version 1.2.1p2 or higher

     下载: SchemaSync-0.9.2

     安装:

       tar xvzf SchemaSync-0.9.2.tar.gz
      cd SchemaSync-0.9.2 
      sudo python setup.py install

     如果想得到最新的开发版本,或者在生产环境中不允许root 登录,请参考这个链接:http://schemasync.org/install.htm

     基本语法:

      schemasync [options] <source> <target>

     source或者target的格式是:

      mysql://user:password@host:port/database

     最终生成文件的格式是:<database>[_<tag>].YYYYMMDD.(patch|revert)[_<version>].sql,有一个日志文件

     一个patch文件(应用到目标主机),一个revert文件(可以做回滚,这个做法是很棒的,个人很赞同,但作为DBA,最好在操作前对线上的数据库做好备份)

     具体选项,可以通过  schemasync  --help 查看

     常用选项:

                  -output-directory=OUTPUT_DIRECTORY 日志文件和生成的SQL文件存放的目录
                  --tag=TAG 为自己的文件打上容易辨认的便签
                  -r, --revision 如果生成的结果文件中存在相同的名字,则会另加标示。
                  -a, --sync-auto-inc 这个选项要注意,他会同步自增长的值
                  -c  --sync-comments 同步新添加字段的内容  描述(经测试该选项无效)

       测试:

       在192.168.1.172上有一数据库sync 库内的表:t1(id int null)

       在192.168.1.175上有一数据库sync 库内的表:t1(id int not null)

       现在将172中的sync库同步至175上:

       schemasync  -r --output-dir="/root/sync/"  mysql://root:XXXX@localhost:3306/sync  mysql://root:XXXXX@192.168.1.175:3307/sync

       打印出的消息:

[INFO  2012-07-13 18:21:49,784] Migration scripts created for mysql://192.168.1.175/sync
Patch Script: /root/sync/sync.20120713.patch.sql
Revert Script: /root/sync/sync.20120713.revert.sql

     我们可以打开文件查看下:

      USE `sync`;
      ALTER TABLE `t1` MODIFY COLUMN `id` int(11) NULL FIRST, ENGINE=InnoDB ROW_FORMAT=Compact;

      这个文件已经将id列 的非空属性设置为空。将这个文件应用到175上即可。!

(PS:此为简单测试。在生成环境下,可以用shell循环同时同步多个库,对于DBA来说,最好在应用更改之前,必须审核一下该SQL,评估下对线上的影响,考虑在线DDL等工具)

     官方地址:http://schemasync.org/






本文转自 位鹏飞 51CTO博客,原文链接http://blog.51cto.com/weipengfei/930142,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
29天前
|
关系型数据库 MySQL
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
21 0
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
SQL DataWorks 关系型数据库
DataWorks常见问题之dataworks同步Rds任务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 关系型数据库 MySQL
解决MySQL主从慢同步问题的常见的解决方案:
解决MySQL主从慢同步问题的方法有很多,以下是一些常见的解决方案: 1. 检查网络连接:确保主从服务器之间的网络连接稳定,避免网络延迟或丢包导致数据同步缓慢。 2. 优化数据库配置:调整MySQL的配置参数,如增大binlog文件大小、调整innodb_flush_log_at_trx_commit等参数,以提高主从同步性能。 3. 检查IO线程和SQL线程状态:通过SHOW SLAVE STATUS命令检查IO线程和SQL线程的状态,确保它们正常运行并没有出现错误。 4. 检查主从日志位置:确认主从服务器的binlog文件和位置是否正确,避免由于错误的日志位置导致同步延迟。 5.
127 1
|
1月前
|
运维 安全 网络安全
Flink CDC产品常见问题之flink1.18同步mysql-starrocks pipeline时报错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
消息中间件 关系型数据库 MySQL
Flink CDC产品常见问题之flinkcdc3同步mysql到doris的时候语句不同步如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
2月前
|
存储 关系型数据库 MySQL
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
183 0
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
Oracle 关系型数据库 流计算
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。