数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地...
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 间的数据同步。前提条件 PolarDB-X 中的数据库须基于RDS MySQL创建。待同步的表须具备主键。确保目标 PolarDB-X 中，目标数据库对应的RDS实例具备充足的存储空间...
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
为了满足校园大脑数据中心系统的数据分析需求，我们额外部署了专用的OLAP系统来与其主业务系统之间通过DTS/ETL的方式保持进行数据同步。业务的不断发展为这一套系统带来前所未有的挑战，突出表现在以下几点：MySQL主节点+只读节点的方式扩...
本文为您介绍如何通过数据传输服务DTS（Data Transmission Service）控制台，查看已配置的数据同步、数据迁移、数据订阅、数据校验实例的任务对象。前提条件 已配置实例，且实例已保存至任务列表页面。注意事项 数据校验实例指的是在校验...
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
本文为您介绍如何在数据传输中查看和修改通过指定对象方式配置的数据同步任务的同步对象，以及修改同步对象的 SQL 过滤条件。背景信息 数据同步任务在同步过程中，满足限制条件的情况下，您可以增加或减少同步对象，以及修改同步对象的过滤...
升级实例配置的操作，仅适用于数据迁移任务和数据同步作业。数据订阅通道无需升级实例配置。注意事项 实例只能升级配置，不能降级配置。升级生效期间增量数据迁移与数据同步会出现5秒左右的延迟，请在业务低峰期操作。费用说明 包年包月...
当前仅支持使用该接口删除实时数据同步任务。接口说明 如果您希望删除离线数据同步任务，请使用 DeleteFile 接口，具体操作流程请参考 删除同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
适用场景 创建数据库至消息队列的数据同步任务时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步任务配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 任务文档。...
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
说明 多表聚合功能主要用于将 DRDS、MyCat 等分库分表的数据同步至目标端的同一张表。使用限制 数据传输仅支持配置数据迁移或数据同步任务时，在设置选择迁移/同步对象步骤执行重命名操作。一旦启动数据迁移或数据同步任务，请勿再执行重...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
本文为您介绍 OceanBase 数据传输服务的规格说明、性能测试情况，以及如何对数据迁移或数据同步任务的实例规格进行升配。注意事项 本文的规格说明参考的是测试数据，仅供您在选择规格时进行参考，不作为产品 SLA（服务等级协议）的评判依据...
云原生数据仓库 AnalyticDB MySQL 版 支持数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的 数据入仓。本文主要介绍添加Kafka数据源、新建Kafka同步链路并启动...
DTS支持在数据同步的过程中新增同步对象，无需重新配置同步任务，以在降低对业务影响的情况下变更同步对象。本文将介绍新增同步对象的操作流程。重要 本文为旧版控制台的操作流程，若您使用的是新版控制台，操作流程请参见 修改同步对象。...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
借助数据传输服务DTS（Data Transmission Service），云数据库 Tair（兼容 Redis）为您提供了丰富数据同步方案，可适用于同步上云、数据异地多活、数据容灾、数据分析等多种业务场景。DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据...
数据同步和迁移任务的区别，请参见 数据迁移和数据同步的区别是什么？新建实时同步任务 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 数据开发 数仓开发。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 ...
本文为您介绍创建数据迁移或数据同步任务时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步任务时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
数据集成同步能力说明 DataWorks数据集成支持将其他数据源的数据同步至MaxCompute，例如将RDS等数据库的数据同步至MaxCompute，针对不同的同步场景，数据同步原理与能力支持不同。离线同步 提供 数据读取（Reader）和 写入插件（Writer）...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至 OceanBase 数据库 MySQL 租户，以及如何同步 OceanBase 数据库 Oracle 租户的数据至 OceanBase ...相关文档 新建 OceanBase 数据源 批量操作数据同步任务 查看数据同步任务的详情
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，您需要在执行数据同步前评估数据同步对源库和目标库性能的影响，同时建议您在业务低峰期执行数据同步。不支持同步DDL操作。如果同步...
数据同步费用（免费试用活动）在实例组中添加从角色时，系统会自动在主从角色间构建数据同步链路（多活实例组默认双向同步，灾备实例组可选单向或双向同步），并根据地域、链路类型、链路数量和使用时长收取数据同步费用，详情请参见下表。...
2025年09月 类型 重点内容 相关文档 新功能 新增支持 AnalyticDB PostgreSQL版 实例间的数据同步和迁移。AnalyticDB PostgreSQL版间的同步 AnalyticDB PostgreSQL版间的迁移 新功能 新增支持敏感数据扫描与脱敏功能，协助您对敏感字段的值...
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。前提条件 已购买源和目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群。支持的数据库版本，请参见 同步方案概览。源 ...
数据同步费用（免费试用活动）在实例组中添加灾备实例（即从角色）时，系统会自动在主实例和灾备实例间构建单向数据同步链路，并根据地域和使用时长收取数据同步费用。数据同步费用=单向数据同步链路单价*使用时长 说明 2025年05月23日至...
配置数据同步实例时 数据同步实例将从 增量数据采集 模块启动后，开始按同步链路规格来计费。数据同步实例暂停期间仍会收取费用。配置数据迁移实例时 如不勾选增量迁移，则不会收取费用。如勾选增量迁移，则数据迁移实例将从增量迁移任务...
Dataphin支持实时集成功能，可 将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时的保持数据同步。5分钟快速了解 功能概述 多数据源实时集成同步：实时集成支持多种来源端数据源汇聚...
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka数据（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS数据（推荐）大数据 Hive 数据迁移 Hive数据导入 存储 OSS 元数据发现 通过...
操作步骤 将数据同步任务配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 任务文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标对象，单击显示的 设置。在 设置 对话框，单击 ...
数据同步费用（免费试用活动）在实例组中添加从角色时，系统会自动在主从角色间构建数据同步链路（多活实例组默认双向同步，灾备实例组可选单向或双向同步），并根据地域、链路类型、链路数量和使用时长收取数据同步费用，详情请参见下表。...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群的数据同步至Doris数据库，以满足您的海量数据分析需求。本文以目标库为ECS实例中部署的Doris数据库为例，为您介绍相关操作步骤。前提条件 已创建存储空间大于源 ...
可以从以下几个维度进行检查：库或表数量对比 表记录数对比 每行记录的汇总或去重计数对比 说明 如果源表与目标表存在轻微差异，可能是由于同步工具存在延迟导致的。建议结合业务场景，添加合适的时间戳，以进行更精准的校验。2、下游业务...
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...