数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
使用Oplog 增量同步不支持在任务开始运行后新建的数据库，支持同步的增量更新如下：CREATE COLLECTION、INDEX DROP DATABASE、COLLECTION、INDEX RENAME COLLECTION 在集合中插入、更新、删除文档的操作。使用ChangeStream 支持同步的增量...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步数据到自建于DBFS上的数据库。DTS：使用阿里云产品DTS，将数据迁移到自建于DBFS...
database SynStatus boolean 同步是否成功，取值说明：true：同步成功。false：同步失败。true ErrorMsg string 当 SynStatus 返回为 true 时，不返回该参数。当 SynStatus 返回为 false 时，表示同步失败的原因。ClickHouse exception,...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
云数据库 Tair（兼容 Redis）自研的全球多活数据库系统，具备跨域复制（Geo-replication）能力，能够迅速实现异地多个实例的数据同步服务，轻松支持数据的异地多活和灾备。一组全球多活实例最多由三个子实例组成，子实例之间自动进行数据的...
场景一：同步增量数据 重要 数据集成任务配置过程中，支持在数据过滤相关参数中使用调度参数，实现增量同步，同时您需要配置满足数据库的语法。增量同步详情请参见：场景：配置增量数据离线同步任务。示例1：将LogHub每十分钟内的增量数据...
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
平均执行时间、平均提交时间 重要 仅同步 OceanBase 数据库 MySQL 租户的数据至 AnalyticDB MySQL，以及同步 OceanBase 数据库的数据至 OceanBase 数据库时进行统计。平均执行时间：每条 SQL 执行时间的均值，单位为 ms。平均提交时间：...
您可以在本地设备或ECS实例中安装Mongodump和Mongorestore（也可以安装MongoDB数据库）工具，然后使用这些工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB。说明 本文以本地设备为例介绍操作流程。注意事项 确保安装的Mongodump和...
在业务场景需要进行主备数据库切换或双云切换时，您可以轻松地调整已有双向同步实例的方向，而无需重新配置实例。背景信息 DTS为了保障双向同步实例的稳定性，仅支持当前正向任务的DDL操作同步到目标库，当前反向任务的DDL操作不会被同步。...
本文介绍云数据库MongoDB 6.0版本推出的新特性和优化项。速览 本文从以下方面介绍云数据库MongoDB 6.0版本：新特性 可查询加密（Queryable Encryption）集群同步（Cluster-to-Cluster Sync）优化项 时序集合（Time Series Collection）变更...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将TiDB数据库的数据同步至 PolarDB-X 2.0 实例。前提条件 已创建存储空间大于TiDB数据库已占用存储空间的目标 PolarDB-X 2.0 实例，详情请参见 创建实例。同步实例默认包含...
在数据安全中心控制台资产授权时，RDS实例一直显示未创建 数据库，然后创建了数据库，单击资产同步还是显示未创建，为什么？对于刚创建的数据库，数据同步需要消耗时间，您需耐心等待后再刷新页面。免费版中授权额度不足，可以升配吗？不...
适用场景 创建数据库至消息队列的数据同步任务时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步任务配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 任务文档。...
注意 DataHub同步的是增量数据，您的数据库中必须插入、删除或更新一条或多条数据后，才会同步到DataHub中。本案例采用手动插入数据的方法，但在实际情况中，都是将用户的购买行为，通过程序的方式动态同步到数据库中的。进行数据抽样时，...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将TiDB数据库的数据同步至 云原生数据仓库AnalyticDB MySQL版 3.0集群。前提条件 已创建存储空间大于TiDB数据库已占用存储空间的目标 云原生数据仓库AnalyticDB MySQL版 3....
本文为您介绍如何使用多库多表同步或者分库分表合并模板实现数据同步。背景信息 实时计算Flink版支持多库多表同步和分库分表合并两种数据同步方式，二者的区别请参见下表。同步方式 详情 多库多表同步 如果您需要将一个或多个数据库中的...
自建数据库搭配RDS 通过数据传输服务DTS，您可以将自建机房的数据库或者ECS上的自建数据库实时同步到任一地域的RDS实例。即使发生机房损毁的灾难，数据在阿里云数据库上也会有备份。详情请参见 配置同步任务（新控制台）。为RDS创建异地容...
同步类型说明 同步类型 说明 全量同步 将源 云数据库MongoDB版 同步对象的存量数据全部同步到目标 AnalyticDB PostgreSQL版 实例中。增量同步 在全量同步的基础上，将源 云数据库MongoDB版 的增量更新同步到目标 AnalyticDB PostgreSQL版 ...
自建数据库搭配RDS 通过数据传输服务DTS，您可以将自建机房的数据库或者ECS上的自建数据库实时同步到任一地域的RDS实例。即使发生机房损毁的灾难，数据在阿里云数据库上也会有备份。详情请参见 配置同步任务（新控制台）。为RDS创建异地容...
注意事项 执行该操作后，将造成下述影响，请谨慎操作：数据同步作业将停止同步数据，即不再将源库的增量数据变更和结构变更同步至目标库。数据同步作业的配置（含监控报警策略）信息将被清空，并转变为 未配置 状态。操作步骤 登录 数据...
创建数据同步任务后，您可以通过标签功能实现对数据同步任务的管理，快速筛选目标任务。本文为您介绍数据传输如何通过标签功能实现对数据同步任务的管理。使用限制 每个数据同步任务最多支持添加 4 个标签。所有数据同步任务的标签总数不得...
其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，您需要为每个数据库配置数据同步任务。不支持同步TimescaleDB插件表、包含跨Schema继承关系的表。不支持同步INDEX、PARTITION、VIEW、PROCEDURE、FUNCTION、TRIGGER、FK...
单任务数据库数量：一个同步任务只能同步一个数据库。如需同步多个数据库，请为每个数据库单独创建同步任务。任务配置规模：如果您在任务中需要编辑（如列名映射）的表数量超过5000个，建议分批创建多个任务，或直接配置整库同步，以避免...
扩容示意图下：PolarDB-X 1.0 扩容步骤如下：创建扩容计划 选择新增加RDS/PolarDB MySQL，并选定需要迁移到新RDS/PolarDB MySQL实例上的分库，提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号，并提交任务进行数据迁移同步。...
同步类型 适用场景 支持的数据来源 数据源配置指导 同步任务配置指导 单表实时同步 适用于将源端部分表数据的变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。MySQL Binlog DataHub LogHub Kafka PolarDB SQL Server ...
本文 DDL 同步支持说明中的 DDL 语句，仅作为 DDL 示例，具体语法受不同数据库支持影响，略有差异，请根据不同数据库实际语法评估支持的 DDL 语句。本文 DDL 同步支持说明中的表相关的 CREATE DDL，需要以 匹配规则 的方式选择对象，并且 ...
概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。您可以通过DataX服务读取上游数据，然后由DataX ...
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
若目标库为MySQL实例或 PolarDB MySQL版 集群，由于数据库产品的限制，不支持迁移包含RELOAD、CREATE TABLESPACE、FILE或ALL PRIVILEGES权限的账号。系统账号（如root、mysql.infoschema、mysql.session、mysql.sys等）和内置账号不支持...
同步写对端：当前数据库执行写入操作后，同步额外写入对端数据库。说明 仅Redis数据源类型支持配置该项。同步写对端 附加读策略 可选，默认关闭。打开 读失败后读对端 开关后，如果在当前数据库未读取到数据，系统将自动读取对端的数据库。...
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。操作步骤 创建账号并配置账号权限。您需要规划一个数据库的登录账户用于后续执行操作，此账号需要...
支持的TiDB版本 离线读取：支持TiDB 7.x、8.x数据库版本。离线写入：暂不支持。实时读写：暂不支持。说明 TiDB 高度兼容MySQL协议，以及 MySQL 5.7和 MySQL 8.0常用的功能及语法。DataWorks离线读TiDB是基于MySQL协议进行数据同步。TiDB与...
DataWorks提供了一键MaxCompute数据同步节点功能，帮助您快速完成从MaxCompute到Hologres数据库的数据同步，可以实现对MaxCompute表数据的高效查询。本文将详细介绍如何使用一键MaxCompute数据同步节点。背景信息 您可以通过SQL语句直接将...
实时读 OceanBase为分布式关系型数据库，可以将物理分布不同的多个数据库上的数据整合为一个完整的逻辑数据库。但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整库...