兼容的数据同步工具 数据同步工具 兼容版本 说明 MySQL Slave=5.4.11 目前不支持GTID模式复制 canal=5.4.11 无 DTS=5.4.11 具体操作步骤请参见 同步方案概览。debezium=5.4.12 不支持快照能力，使用时需要关闭快照"snapshot.mode":"never...
迁移工具 说明 应用场景 DataWorks/DataX DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，底层实现依赖于DataX离线数据同步工具。适用于MySQL、Oracle、SQLServer等多种异构数据源之间的数据迁移同步。DataWorks/DataX将不同数据源...
相对于传统的数据同步工具，DTS的实时同步功能能够将并发粒度缩小到事务级别，能够并发同步同张表的更新数据，从而极大地提升同步性能。高峰期时，数据同步性能可以达到30,000 RPS。DTS链路支持多并发压缩传输，降低传输链路对带宽的占用。...
支持阿里云自主研发工具 云数据库MongoDB版进行数据迁移和同步时，不但可以通过控制台和MongoDB官方提供的工具实现，还可以通过阿里云自主研发的工具实现，具体如下：工具名称 说明 NimoShake 数据同步工具。您可以使用该工具将Amazon ...
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 NimoShake主要用于从...
安全配置：在业务割接前，建议对目标 PolarDB 集群的写入权限进行管控，仅允许数据同步工具的账号写入，防止意外数据污染。准备工作 在开始迁移前，请确保您已完成以下准备工作：获取工具包：迁移工具包：NimoShake.tar.gz。其中包含 nimo-...
使用 dsync 工具进行在线迁移 dsync 是一款高效的数据同步工具，它能够实现从源MongoDB到目标 PolarDB PostgreSQL轻量版 集群的全量数据迁移和增量数据同步。整个过程自动化进行，可以最大限度地减少业务停机时间。前提条件 在开始迁移前，...
TiCDC 是 TiDB 数据库的增量数据同步工具，通过 PD 集群（TiDB 集群的调度模块，通常由 3 个 PD 节点构成）来实现高可用。TiKV Server 是 TiDB 集群中的 TiKV 节点，它会以变更日志的方式主动发送变更数据至 TiCDC 集群。TiCDC 工具会通过...
您无需额外部署和维护ETL工具，即可实现数据同步，并将搜索分析负载与在线事务处理负载隔离。说明 当前功能目前正处于灰度阶段。如您有相关需求，请 提交工单 与我们联系，以便为您开启该功能。功能简介 AutoETL是 PolarDB MySQL版 内置的...
数据同步工具 兼容版本 说明和限制 canal=5.4.11 canal针对 PolarDB-X 的多流binlog进行了适配，进行简单 配置，即可快速消费 PolarDB-X 的多流binlog。cloudcanal=5.4.16 cloudcanal是基于开源canal打造的数据同步、迁移工具，cloudcanal...
通过数据同步功能同步SLS数据至数仓版 通过数据同步功能同步SLS数据至湖仓版 无感数据集成（Zero-ETL）支持无感集成（Zero-ETL）功能，可创建 RDS for MySQL 和 PolarDB for MySQL 的同步链路，可以帮助您一站式完成数据同步和管理，实现...
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
联邦分析使用 云原生数据仓库 AnalyticDB MySQL 版 的免费高速数据管道服务（APS）将 PolarDB MySQL中的 数据实时同步至 企业版、基础版及湖仓版 集群中，帮助您一站式完成数据同步与管理。您还可以加入湖仓版体验交流群（钉钉群号：...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
使用 AnalyticDB for MySQL 的无感集成（Zero-ETL）若您追求快速构建业务系统和数据仓库之间的数据同步链路，推荐使用 AnalyticDB for MySQL 的无感集成功能。说明 更多详细操作及相关参数参见 通过无感集成（Zero-ETL）同步数据。登录 云...
该工具提供全量及增量同步功能，旨在为您解决迁移过程中源集群与目标集群的数据同步问题，确保数据一致性的同时，最大限度减少对业务运营的影响。迁移准备 在开始迁移前，请完成以下准备工作，确保迁移过程顺利。适用场景与版本兼容性 本...
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
从层次结构方面来看，列存引擎节点采用Delta+Main（类LSM结构）二层模型，采用了标记删除的技术，确保了行存和列存之间实现低延时的数据同步，可以保证秒级的实时更新。数据实时写入到MemTable，在一个group commit的周期内，会将数据存储...
从层次结构方面来看，列存引擎节点采用Delta+Main（类LSM结构）二层模型，采用了标记删除的技术，确保了行存和列存之间实现低延时的数据同步，可以保证秒级的实时更新。数据实时写入到MemTable，在一个group commit的周期内，会将数据存储...
离线同步会根据切分键（splitPk）来进行数据分片，数据同步根据此配置启动并发任务进行数据同步，提高数据同步的效能。（具体插件是否需要配置切分键，请参考具体插件文档）。解决方案1：若配置前置或后置语句，建议使用添加了索引的字段...
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-X 1.0 PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至...
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。核心能力 实时同步支持的能力如下图所示：能力 描述 多种数据源...
数据集成目前支持将LogHub（SLS）、Kafka等源头的单表数据通过ETL实时同步至Data Lake Formation。本文以LogHub（SLS）为源端、Data Lake Formation为目标端的场景为例，为您介绍单表实时同步数据至Data Lake Formation。使用限制 仅支持 ...
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
使用方法 自动同步PolarDB-X元数据至湖仓版 通过数据同步功能同步SLS数据至数仓版 通过数据同步功能同步SLS数据至湖仓版 通过数据同步功能同步Kafka至湖仓版（推荐）通过数据同步功能同步SLS至湖仓版（推荐）通过元数据发现导入至湖仓版 ...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 云数据库MongoDB版（副本集架构或分片集群架构）迁移至云原生多模数据库Lindorm。前提条件 云数据库MongoDB版 为副本集架构或分片集群架构。重要 若源库为分片集群架构...
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
创建并执行数据同步任务。在DataWorks的数据开发模块中创建离线同步任务，详情请参见 通过向导模式配置离线同步任务。关键配置如下：网络与资源配置。参数 说明 来源 数据来源 MySQL。数据源名称 已创建的MySQL数据源。资源组 我的资源组 ...
2025-06-19 所有地域 所有用户 使用Serverless资源组 数据同步 数据来源为MySQL或PolarDB，数据去向为MaxCompute的整库实时同步任务，支持在目标表字段赋值时使用函数表达式定义赋值。2025-06-11 所有地域 所有用户 使用函数表达式为目标...
步骤二：配置并启动迁移任务 DSync工具提供自动化的Collection同步、全量数据同步与增量数据同步，仅需将DSync工具启动，数据同步即可自动进行。设置环境变量：启动DSync工具仅需提供源库和目标库的连接串（URI）即可，这里通过环境变量的...
启动数据同步任务 创建数据同步任务时，如果在预检查完成后仅保存该数据同步任务，未进行启动，则需要在同步任务列表中手动启动数据同步任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 同步任务列表 页面，...
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步任务。完成准备工作。...
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、Apache Airflow、Azkaban。ETL工具连接 BI工具对接 支持Tableau、FineBI、FineReport、Davinci、Yonghong BI、Quick BI、观远BI、网易有数...
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-X 1.0 PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至...
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
启动数据同步任务后，您可以在数据同步任务的详情页面查看相应任务的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。单击目标数据同步任务的名称，进入详情页面，...
如果不再需要数据同步，您可以结束数据同步作业，停止将源库的数据变更同步至目标库。前提条件 数据同步作业处于 同步中、已暂停、同步失败、同步初始化中 或 同步初始化失败 状态。注意事项 结束数据同步作业后，数据同步作业将处于 已...
本文为您介绍如何引用和清空已有数据同步任务的配置。引用任务配置 重要 目前处于 未配置 状态的数据同步任务支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 数据同步 页面，单击未配置的目标...