DTS同步DDL的策略

简介:    DTS增量迁移/同步在同步源库的DML操作到目标库时是并发执行的,而同步DDL操作则是串行执行的,其主要过程如下: (1).解析ddl涉及到的库表列,如果该ddl涉及到的库表列都不在迁移或者同步列表中则过滤该ddl,否则执行该ddl; (2).
   DTS增量迁移/同步在同步源库的DML操作到目标库时是并发执行的,而同步DDL操作则是串行执行的,其主要过程如下:

(1).解析ddl涉及到的库表列,如果该ddl涉及到的库表列都不在迁移或者同步列表中则过滤该ddl,否则执行该ddl;
(2).根据目标库的类型及配置的库表列映射信息转换该ddl;
(3).串行执行该ddl(在执行该ddl之前先等待它之前的所有dml/ddl操作都执行完了,阻塞该ddl之后的所有dml/ddl操作);
(4).如果ddl在目标库执行失败则忽略该错误;
(5).ddl执行之后清空目标表结构信息缓存;

  从DDL的同步过程可以看出在DDL比较频繁的情况下会严重影响DTS的迁移/同步性能.在正常情况下,真正的线上业务其DDL操作不可能频繁的,但也不排除一些特殊情况,如果这种情况下的频繁DDL导致DTS的性能问题,就需要业务改造了.

一.常见场景


  1. (1).对同一张表频繁地create table if not exists `xxx`.`xxx`;
  2. (2).对同一张表频繁地create table  `xxx`.`xxx`;drop table  `xxx`.`xxx`;
  3. (3).频繁地truncate table  `xxx`.`xxx`;



目录
相关文章
|
4天前
|
存储 SQL NoSQL
数据传输DTS同步问题之同步失败如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
4天前
|
NoSQL Redis 数据库
数据传输DTS中金融云跨账号同步Redis,增量校验报错了
【1月更文挑战第16天】【1月更文挑战第80篇】数据传输DTS中金融云跨账号同步Redis,增量校验报错了
69 1
|
4天前
|
弹性计算 关系型数据库 MySQL
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
245 0
|
4天前
|
监控 关系型数据库 MySQL
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
235 0
|
4天前
|
监控 分布式数据库 API
数据传输DTS同步问题之遇到错误如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
4天前
|
容灾 NoSQL 关系型数据库
数据传输DTS同步问题之二分库到四分库如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
305 0
|
4天前
|
关系型数据库 MySQL 网络安全
dts同步问题之同步状态异常
dts同步问题之同步状态异常
38 4
|
4天前
|
数据采集 关系型数据库 MySQL
dts同步问题之同步冲突
dts同步问题之同步冲突
53 5
|
4天前
|
SQL 运维 监控
dts同步问题之实时同步延迟
dts同步问题之实时同步延迟
74 2
|
4天前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步
在使用阿里云DTS 进行MySQL->ClickHouse同步时,从准备工作,到创建任务,再到后期运维处理,新手可能会感到茫然和不知所措。为了帮助新手顺利过渡,本文将介绍使用阿里云DTS在进行MySQL到ClickHouse迁移时的最佳实践以及常见踩坑问题, 我们希望通过这篇文章,让您能无忧使用阿里云DTS进行数据迁移,享受ClickHouse带来的高效数据分析体验。
98359 12
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步

热门文章

最新文章