Oracle Golden Gate,MySQL to Oracle数据同步测试

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

本文主要描述使用Oracle Golden Gate 进行MySQL to Oracle数据同步的简单测试。


欢迎转载,请注明作者、出处。
作者:张正
blog:http://space.itpub.net/26355921 
QQ:176036317
如有疑问,欢迎联系。

PART 1 环境描述

一.整体逻辑结构:

二.环境介绍

注:以下所有表明要注意的地方,均不能出现错误

PART 2 初始化导入(initial load)

注意:
1.修改MySQL参数文件my.cnf,修改2行参数,开启binlog:
log-bin=master-bin
binlog_format=row
2. 重启MySQL后,select @@global.binlog_format;确保其值为row
3. 确保MySQL中试验的两张表为innodb存储引擎
4. 注意MySQL中的表名字,大小写敏感
5. MySQL数据库中的表与Oracle中的表的字段类型不能冲突
6. 需要给源和目的数据库中相关的用户授予足够的权限
源主机:
GGSCI> edit params mgr
编辑内容:
PORT 7900
启动mgr:GGSCI> start mgr
GGSCI> edit params defgen
编辑内容:
DEFSFILE ./dirdef/source.def,PURGE
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
table lockdb.tcustmer;
table lockdb.tcustord;
退出exit
执行:./defgen paramfile ./dirprm/defgen.prm
即生成./dirdef/source.def 文件
GGSCI>  add extract einikk, sourceistable
GGSCI>  edit params einikk
编辑内容:
EXTRACT EINIKK
dboptions host localhost,connectionport 3306
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
RMTHOST 192.168.81.131, MGRPORT 7900
RMTTASK REPLICAT, GROUP RINIKK
TABLE lockdb.tcustmer;
TABLE lockdb.tcustord;
将defgen复制到目标主机上:
scp  /root/ogg/dirdef/source.def 
oracle@192.168.81.131:/u01/app/oracle/gg10g/dirdef/
目的主机:
GGSCI> edit params mgr
编辑内容:
PORT 7900
启动mgr:GGSCI>  start mgr
添加replicat进程:
先登录数据库:
GGSCI> dblogin userid system,password oracle
GGSCI> add replicat rinikk,specialrun
GGSCI> edit params rinikk
编辑内容:
REPLICAT RINIKK
ASSUMETARGETDEFS
USERID system, PASSWORD oracle
sourcedefs ./dirdef/source.def
DISCARDFILE ./dirrpt/RINIKK.dsc, PURGE
MAP lockdb.tcustmer, TARGET gguser.tcustmer;
MAP lockdb.tcustord, TARGET gguser.tcustord;
Initial load配置完成,启动初始化数据导入:
在源主机上GGSCI> start extract einikk
即可看到目标数据库中出现了数据
NOTES:
若出现异常可以查看报告日志:./dirrpt/EINIKK.rpt 和 ./dirrpt/RINIKK.rpt


PART 3 数据同步

源主机上添加extract:
GGSCI> add extract eorapp,tranlog,begin now
GGSCI> edit param eorapp
编辑内容:
EXTRACT EORAPP
DBOPTIONS HOST localhost,CONNECTIONPORT 3306
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
RMTHOST 192.168.81.131,MGRPORT 7900
RMTTRAIL /u01/app/oracle/gg10g/dirdat/pp
TRANLOGOPTIONS ALTLOGDEST /data/mysql/master-bin.index
TABLE lockdb.tcustmer;
TABLE lockdb.tcustord;
源主机上添加remote trail:
GGSCI> add rmttrail  /u01/app/oracle/gg10g/dirdat/pp ,extract eorapp
NOTES: 一定要注意,因为本地OGG安装目录为/root/ogg,目的主机OGG安装目录为/u01/app/oracle/gg10g,两个目录不一样。这里是在本地给目的主机添加trail,因此应该写目的主机那边的路径,且应该写全路径
目标主机上编辑全局参数文件:
GGSCI> edit params ./GLOBALS
编辑内容:
GGSCHEMA system
CHECKPOINTTABLE system.chkptab
目标主机登陆数据库:
GGSCI> dblogin userid system,password oracle
GGSCI> add checkpointtable chkptab
目标机添加replicat进程:
GGSCI>  add replicat rorapp,exttrail /u01/app/oracle/gg10g/dirdat/pp
目标主机编辑replicat进程的参数文件:
GGSCI> edit param rorapp
编辑内容:
REPLICAT RORAPP
USERID system, PASSWORD oracle
HANDLECOLLISIONS
SOURCEDEFS ./dirdef/source.def
DISCARDFILE ./dirrpt/rorapp.dsc, PURGE
MAP lockdb.tcustmer, TARGET gguser.tcustmer;
MAP lockdb.tcustord, TARGET gguser.tcustord;

启动工作进程:
先启动目标主机上的Replicat进程:start replicat rorapp


再启动源主机上的extract进程:start extract eorapp
主要的排错手段:
查看./dirrpt/eorapp.rpt和./dirrpt/rorapp.rpt报告

查看各进程状态:
GGSCI> info extract eorapp
GGSCI> info replicat rorapp
GGSCI> info all
GGSCI>info mgr

PART 4 数据验证

1.查看源库中表tcustord的记录:
select * from lockdb.tcustord;


2. 查看目标数据库:
select * from gguser.tcustord;


3. 在源库中插入一条记录:
Insert into lockdb.tcustord values(6,’aaaa’,50);

4. 在目标数据库中查询:

 
发现数据确实同步过来了。
本文转自ITPUB博客84223932的博客,原文链接:Oracle Golden Gate,MySQL to Oracle数据同步测试,如需转载请自行联系原博主。
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
24天前
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
20 1
|
24天前
|
Java 关系型数据库 数据库连接
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
24 1
|
20天前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
66 0
|
24天前
|
Oracle 关系型数据库 MySQL
Seata常见问题之oracle 数据库 报 just support mysql如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
53 0
|
1月前
|
监控 关系型数据库 MySQL
Flink CDC产品常见问题之使用3.0测试mysql到starrocks启动报错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
canal 关系型数据库 MySQL
四种常用的 MySQL 数据同步 ES 的方法
【2月更文挑战第16天】
165 2
四种常用的 MySQL 数据同步 ES 的方法
|
2月前
|
关系型数据库 MySQL Java
Mysql专栏 - 线上调优与压力测试
Mysql专栏 - 线上调优与压力测试
85 0
|
3月前
|
缓存 NoSQL 关系型数据库
redis与mysql的数据一致性问题(数据同步延迟)
redis与mysql的数据一致性问题(数据同步延迟)
18 0
|
6月前
|
关系型数据库 MySQL Java
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
|
3月前
|
缓存 NoSQL 关系型数据库
MySQL缓存策略(一致性问题、数据同步以及缓存故障)
MySQL缓存策略(一致性问题、数据同步以及缓存故障)
53 1

热门文章

最新文章

推荐镜像

更多