TurboDX

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 应用场景 当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,...

应用场景

当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,时间戳,MD5等方式,配置繁琐,下面介绍数贝的一歀数据交换平台,基于BS架构的,配置方便简洁,但是如果投入生产,是需要收费的!

操作步骤

2. TurboDX

2.1 TurboDX资源下载

软件安装包以及操作文档下载地址
下载后的目录结构如下图所示:

这里写图片描述

2.2 TurboDX产品安装

产品必须安装在 \TurboDX 路径,盘符没有限制,例如 D:\TurboDX、E:\TurboDX、C:\TurboDX,首先在D盘根目录建立TurboDX目录。

双击安装软件TurboDX_Express_Setup2.5.exe,一路下一步即可,选择安装在D盘的TurboDX目录下。安装完毕!

2.3 TurboDX产品设置

将授权文件synball_cloud.lic放到安装目录\TurboDX\tomcat\webapps\turbodx\licenses 下,这点必须设置,否则启动失败!

2.4 TurboDX产品启动与关闭

启动:
在Windows的“服务”中按次序启动后台服务TurboDXDB、TurboDXServer、TurboDXWEB。
关闭:
在Windows的“服务”中按次序关闭后台服务TurboDXWEB、TurboDXServer、TurboDXDB。

2.5 TurboDX产品访问

http://192.168.212.21:8422/turbodx 用户名:admin 密码:admin

这里写图片描述

2.6 TurboDX产品使用

2.6.1 需求场景设定

从一个mysql的源库,设置增量同步数据到另一个mysql的目标库。Mysql目标库是一个空库,而且同步增量时,支持源库中对表的数量选择!

2.6.2 数据库信息设定

源数据库:192.168.201.128:3306  root  11111
数据库名:ceshi

这里写图片描述

目标数据库:192.168.201.128:3307  xubin  xubin
数据库名:turbodxceshi      是一个空库

这里写图片描述

2.6.3 TurboDX绑定数据源

如下图所示,进入TurboDX交换平台中,选择数据源连接,新建关系型数据源,目前只支持mysql,oracle,sqlserver,配置数据源信息,名称,驱动,ip地址,端口,数据库名,用户名,密码等信息,然后进行连接。同理设置源数据库连接,和目标数据库连接!

这里写图片描述

2.6.4 TurboDX库表选择

该步配置目的是设置源数据库中,哪些表是需要配置数据增量同步的,把需要的表进行勾选,保存!为了简化操作,下图中并没有选择整库,而是抽选了库中的前5个表!

这里写图片描述

其中第一个表aaturbodx中有一条数据,如下所示:

这里写图片描述

2.6.5 配置全量同步

进入任务管理,选择复制同步,然后新建任务,配置任务名称,以及任务类型,勾选全量交换!然后进行保存!

这里写图片描述

配置完任务后,在任务列表中就可以看到该任务,然后点击该任务,在上方选择打开!

这里写图片描述

在打开的任务中,进行源数据库,和目标数据库的设置,操作如下图所示!

这里写图片描述

最后进行任务的开启与执行!

这里写图片描述

可以对结果进行监控,并且查看输出日志!

这里写图片描述

这里写图片描述

结果验证,查看目标数据库turbodxceshi中是否同步了5个表,第一个表aaturbodx中是否有一条数据,进行验证。

这里写图片描述

2.6.6 配置增量同步

和全量同步很类似,只不过在第一步配置任务类型的时候,选择增量事务即可,后面配置都一致!
当增量事务配置完成,并且启动后,就可以进行结果验证了。

结果验证,在源数据库ceshi中,选择aaturbodx表,在其表中添加一条数据,如下所示,查看目标数据库turbodxceshi的aaturbodx的表中,是否实时增加了一条数据,结果如下:

这里写图片描述

这里写图片描述

验证目标库,会自动更新在源数据库中添加的数据记录,数贝采用的增量同步技术,是mysql日子挖掘的方式扫描出增量数据。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
8月前
|
关系型数据库 MySQL API
|
SQL 关系型数据库 MySQL
SyncNavigator数据库同步软件8.4.1 中文版
SyncNavigator是一款专门用于SqlServer、Mysql数据同步的软件,由国内顶级开发团队开发完成,经历8年逐步完善,目前具备强大的数据同步功能,国内很多大型连锁超市,企业,公司都在用SyncNavigator数据同步软件进行着数据同步服务。
4415 0
|
SQL 消息中间件 数据采集
Flink CDC 2.0 正式发布,详解核心改进
Flink CDC 2.0.0 版本于 8 月 10 日正式发布,点击了解详情~
Flink CDC 2.0 正式发布,详解核心改进
|
Java 数据库连接 mybatis
【Spring常见错误】No qualifying bean of type
📋📋 精彩摘要:MyBatis 核心配置文件(xxxConfig.xml),该文件配置了MyBatis的一些全局信息,,包含数据库连接信息和MyBatis运行时所需的各种特性,以及设置和响应MyBatis行为的一些属性。本文将深入浅出的介绍MyBatis核心配置文件中常用的标签配置。
4104 0
|
5月前
|
关系型数据库 MySQL 调度
DataX教程(05)- DataX Web项目实践
DataX教程(05)- DataX Web项目实践
611 0
|
SQL 数据采集 JSON
保姆级教程!玩转 ChunJun 详细指南
「chunJun 新手入门」系列的第三篇,本文将为大家介绍如何配置一个 ChunJun 任务,获取 ChunJun 以及通过 ChunJun Client 端提交任务的流程等内容,教会大家更好地玩转 ChunJun。 ChunJun 是一款稳定、易用、高效、批流一体的数据集成框架,⽀持海量数据的同步与计算,对ChunJun 感兴趣的小伙伴不要错过~
588 0
|
9月前
|
SQL 关系型数据库 数据库
flink postgresql cdc实时同步(含pg安装配置等)
flink postgresql cdc实时同步(含pg安装配置等)
1724 2
|
消息中间件 存储 缓存
物流项目中Oracle 数据库的使用及OGG是如何同步
​ 针对整个物流项目来说,数据采集属于实时增量采集数据,只要业务数据一旦产生,就立即将业务数据获取,进行ETL转换,存储到存储引擎中(比如Kudu数据库和Es索引等)。
484 0
物流项目中Oracle 数据库的使用及OGG是如何同步
|
SQL NoSQL Oracle
Flink CDC 2.3 发布,持续优化性能,更多连接器支持增量快照,新增 Db2 支持
Flink CDC 2.3 发布,新增 Db2 数据源,MongoDB CDC 和 Oracle CDC支持增量快照,MySQL CDC 性能大幅提升
Flink CDC 2.3 发布,持续优化性能,更多连接器支持增量快照,新增 Db2 支持