数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
附录：数据源环境介绍 标准模式工作空间下，同一个名称的数据源存在开发环境和生产环境两套配置，两套配置可对应底层两个数据库/数据仓库，针对不同环境您可设置不同的数据源信息，使测试与生产调度操作的数据源隔离，以保护生产数据的安全...
为提供更高效便捷的数据备份服务以及提升产品使用体验，2024年03月起 数据库备份DBS 将逐步对 数据源 页面相关功能进行变更，变更后您可直接在 数据源 页面新增或同步数据源，配置MySQL逻辑备份（支持 阿里云RDS MySQL数据库、ECS自建MySQL...
注意事项 本文仅简单介绍数据同步任务的通用配置流程，不同的数据源在配置数据同步任务时略有不同。关于各类数据源的详细配置案例请参见 DTS数据同步方案概览。准备工作 数据同步的源数据库为PolarDB MySQL或自建MySQL时，须开启其binlog...
配置输入源数据库：配置MySQL数据源 配置Oracle数据源 配置PolarDB数据源 配置SQLServer数据源 更多数据源配置请参见 配置数据源。配置Hologres数据源：配置Hologres数据源 配置离线同步任务。配置数据源成功之后，可以配置同步任务将数据...
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
如果配置从文件引擎同步数据到MaxCompute时，配置的数据来源的数据源为HDFS。根据提示使用脚本模式配置同步任务。在配置脚本中，添加文件引擎配置参数。同步数据到文件引擎时，需要配置HDFS Writer，详情请参见 配置HDFS Writer。从文件...
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建SAP HANA...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Log Service...
同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Log Service...
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
支持 从自建数据库同步数据 文档 简介 是否支持Serverless版本 从ECS上的自建MySQL同步至AnalyticDB PostgreSQL版 数据传输服务DTS（Data Transmission Service）支持将ECS上的自建MySQL数据同步至 AnalyticDB PostgreSQL版，帮助您轻松...
同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步PolarDB-X数据源的数据至其他数据源的场景中，您需要先配置PolarDB-X输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步PolarDB-X数据源的数据至其他数据源的场景中，您需要先配置PolarDB-X输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步MongoDB数据源的数据至其他数据源的场景中，您需要先配置MongoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MongoDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建MongoDB数据源...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输入组件。前提条件 在...
同步HBase数据源的数据至其他数据源的场景中，您需要先配置HBase输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建HBase数据源。具体...
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...