SQL Server 云下数据增量同步至阿里云 RDS for SQL Server

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介: SQLServer 云下数据增量同步至阿里云 RDS for SQLServer
近期有一个需求,将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话,可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS,但如果要进行增量同步的话则无法直接使用,尤
其是还要做数据过滤的场景。

那该如何解呢?可以使用 kettle 工作来做增量的插入、更新及删除,以达到增量同步的效果。具体操作步骤参考如下:

1. 前期准备
安装 Java 及配置 JAVA_HOME
安装 Kettle

2. 配置源数据库
新建转换。新建一个转换任务,“文件”-->“新建”-->“转换”
9b2a0adf3fcb8f942bb85d8033fd086047fc81d0

新建表输入。在“核心对象”-->“输入”-->“表输入”,将“表输入”图标直接拖拽到右侧区域
cf2d3369451b4e948764d970c2ea5d4ecb2ac654

配置表输入。双击“表输入”图标,进入配置界面,步骤名称默认即可,数据连接就是选择你的源数据库,这里没有进行过配置,所以点击“新建”进行 SQL Server 源数据库连接配置
eebdb3874c67ef61bc5821c0fbcc560700a0de49

配置数据库连接。按照向导进行数据连接配置。
d65a46bf542f7305d6304e5619fce83af7d30c57

选择源表。点击“获取SQL查询语句”,在弹出的窗口中选择要进行数据传输的table,点击“确定”即可完成“表输入”配置。
7f2b9031491679265ff74f1917615aa5c8e79e96

3. 配置字段选择
新建“字段选择”。在模块化区选择“转换”-->“字段选择”,双击字段选择即可建立连接。
4639bcce968663066f029f75b0d773beccb77c69

配置字段。双击“字段选择”图标打开配置界面。
f05c1a57eccf851d25f2dd10a12b7fa3cfb2546e

4. 配置目标数据库
新建“插入/更新”。双击“输出”--“插入/更新”建立连接。
ef203a3e9fd0154f8afd3764ef62ac920e343d73

配置“插入/更新”。
双击“插入/更新“图标,新建目标数据库连接,并按照向导完成配置。
4e45c6607f184543fa33c3dbfa3bed8c0b5d2cc4

5. 测试运行
74375b75f5825e9bf4beecd864c5a2cbedbd84d2

当然,每次同步数据量大的话会花费很长时间,可以使用时间戳来进行过滤,选取最近变更的记录,减少 kettle 读取的记录数,降低同步时间。

至于 delete 操作的同步,可以使用记录标记来解决。kettle 也提供的删除步骤,有兴趣的可以自己研究一下。
相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
13天前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库:第二章 关系数据库
【SQL server】玩转SQL server数据库:第二章 关系数据库
52 10
|
13天前
|
缓存 NoSQL 关系型数据库
13- Redis和Mysql如何保证数据⼀致?
该内容讨论了保证Redis和MySQL数据一致性的几种策略。首先提到的两种方法存在不一致风险:先更新MySQL再更新Redis,或先删Redis再更新MySQL。第三种方案是通过MQ异步同步以达到最终一致性,适用于一致性要求较高的场景。项目中根据不同业务需求选择不同方案,如对一致性要求不高的情况不做处理,时效性数据设置过期时间,高一致性需求则使用MQ确保同步,最严格的情况可能涉及分布式事务(如Seata的TCC模式)。
37 6
|
21天前
|
SQL 关系型数据库 MySQL
轻松入门MySQL:保障数据完整性,MySQL事务在进销存管理系统中的应用(12)
轻松入门MySQL:保障数据完整性,MySQL事务在进销存管理系统中的应用(12)
|
28天前
|
关系型数据库 MySQL
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
21 0
|
22天前
|
SQL
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
17 0
|
13天前
|
SQL 算法 数据库
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
78 6
|
8天前
|
SQL 安全 网络安全
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
19 0
|
13天前
|
SQL 存储 数据挖掘
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
服务器数据恢复环境: 一台安装windows server操作系统的服务器。一组由8块硬盘组建的RAID5,划分LUN供这台服务器使用。 在windows服务器内装有SqlServer数据库。存储空间LUN划分了两个逻辑分区。 服务器故障&初检: 由于未知原因,Sql Server数据库文件丢失,丢失数据涉及到3个库,表的数量有3000左右。数据库文件丢失原因还没有查清楚,也不能确定数据存储位置。 数据库文件丢失后服务器仍处于开机状态,所幸没有大量数据写入。 将raid5中所有磁盘编号后取出,经过硬件工程师检测,没有发现明显的硬件故障。以只读方式将所有磁盘进行扇区级的全盘镜像,镜像完成后将所
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
|
17天前
|
SQL 数据安全/隐私保护
SQL Server 2016安装教程
SQL Server 2016安装教程
19 1
|
17天前
|
SQL 安全 Java
SQL server 2017安装教程
SQL server 2017安装教程
15 1

热门文章

最新文章