兼容的数据同步工具 数据同步工具 兼容版本 说明 MySQL Slave=5.4.11 目前不支持GTID模式复制 canal=5.4.11 无 DTS=5.4.11 具体操作步骤请参见 同步方案概览。debezium=5.4.12 不支持快照能力，使用时需要关闭快照"snapshot.mode":"never...
合理利用ECS的公共下载资源 如果您的ECS使用包月资源，可以使用Tunnel等数据同步工具，将MaxCompute数据同步到ECS，然后下载到本地。详情请参见 大量数据导出方案。Tunnel文件上传优化 小文件会消耗更多计算资源，建议当文件量积累较大时...
迁移工具 说明 应用场景 DataWorks/DataX DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，底层实现依赖于DataX离线数据同步工具。适用于MySQL、Oracle、SQLServer等多种异构数据源之间的数据迁移同步。DataWorks/DataX将不同数据源...
支持阿里云自主研发工具 云数据库MongoDB版进行数据迁移和同步时，不但可以通过控制台和MongoDB官方提供的工具实现，还可以通过阿里云自主研发的工具实现，具体如下：工具名称 说明 NimoShake 数据同步工具。您可以使用该工具将Amazon ...
使用 dsync 工具进行在线迁移 dsync 是一款高效的数据同步工具，它能够实现从源MongoDB到目标 PolarDB PostgreSQL轻量版 集群的全量数据迁移和增量数据同步。整个过程自动化进行，可以最大限度地减少业务停机时间。前提条件 在开始迁移前，...
数据同步工具 兼容版本 说明和限制 canal=5.4.11 canal针对 PolarDB-X 的多流binlog进行了适配，进行简单 配置，即可快速消费 PolarDB-X 的多流binlog。cloudcanal=5.4.16 cloudcanal是基于开源canal打造的数据同步、迁移工具，cloudcanal...
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
表格存储支持通过命令行工具或者DataX工具直接下载数据到本地文件，您也可以通过DataWorks工具将数据同步到OSS后再从OSS侧下载数据到本地文件。下载方式 请根据所需文件格式选择合适的方式进行数据下载，详细说明请参见下表。操作方式 支持...
离线同步会根据切分键（splitPk）来进行数据分片，数据同步根据此配置启动并发任务进行数据同步，提高数据同步的效能。（具体插件是否需要配置切分键，请参考具体插件文档）。解决方案1：若配置前置或后置语句，建议使用添加了索引的字段...
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大程度上提升数据抽取性能。说明 fetchSize 值过大（2048）可能造成数据同步进程OOM。否 1024 Writer...
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持的阿里云ClickHouse版本及JDBC驱动兼容关系如下：JDBC 驱动版本 阿里云ClickHouse内核版本 0.2.4...
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {...
数据同步前准备 在DataWorks上进行数据同步前，您需要参考本文提前在ApsaraDB For OceanBase侧进行数据同步环境准备，以便在DataWorks上进行ApsaraDB For OceanBase数据同步任务配置与执行时服务正常。以下为您介绍ApsaraDB For OceanBase...
当 迁移实时状态 为 同步中 时，表示服务器数据正在迁移。由于传输数据耗时受源端数据大小，网络带宽等因素影响，请耐心等待迁移任务完成。此时您也可以根据实际需求执行以下操作：修改迁移设置：在 操作 列单击 修改迁移，修改任务名称、...
使用方法 自动同步PolarDB-X元数据至湖仓版 通过数据同步功能同步SLS数据至数仓版 通过数据同步功能同步SLS数据至湖仓版 通过数据同步功能同步Kafka至湖仓版（推荐）通过数据同步功能同步SLS至湖仓版（推荐）通过元数据发现导入至湖仓版 ...
使用增量迁移可以在自定义的时间间隔内，将源服务器系统产生的增量数据同步至阿里云，有效减少源服务器系统业务暂停时间及最终交割时间。本文介绍增量迁移的操作步骤。操作步骤 步骤一：全量迁移 在源服务器系统业务不暂停的情况下，您需要...
当您在部署实际业务时，建议自行通过Syncthing文件同步工具或者Rsync与Inotify组合方式，同步多台服务器之间的数据。步骤一：创建并配置数据库服务器C 本示例中，将通过宝塔应用镜像创建一台轻量应用服务器，然后通过宝塔面板快速安装并...
启动数据同步任务 创建数据同步任务时，如果在预检查完成后仅保存该数据同步任务，未进行启动，则需要在同步任务列表中手动启动数据同步任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 同步任务列表 页面，...
使用增量迁移可以在自定义的时间间隔内，将源VMware系统产生的增量数据同步至阿里云，有效减少源VMware系统业务暂停时间及最终交割时间。本文介绍VMware无代理增量迁移最佳实践的操作步骤。使用限制 增量迁移仅支持迁移为云服务器镜像。...
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步任务。完成准备工作。...
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-X 1.0 PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至...
前提条件 配置 AnalyticDB for MySQL 输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。操作步骤 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
启动数据同步任务后，您可以在数据同步任务的详情页面查看相应任务的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。单击目标数据同步任务的名称，进入详情页面，...
分发单独放在一台服务器，其目的是解决publisher故障转移时，分发服务器可以提供持续同步数据到订阅服务器。发布（publisher）和分发（distributor）是放在用户本地，拥有自主权限。订阅（subscriber）放在RDS上，建议不要用高可用RDS实例...
如果不再需要数据同步，您可以结束数据同步作业，停止将源库的数据变更同步至目标库。前提条件 数据同步作业处于 同步中、已暂停、同步失败、同步初始化中 或 同步初始化失败 状态。注意事项 结束数据同步作业后，数据同步作业将处于 已...
本文为您介绍如何引用和清空已有数据同步任务的配置。引用任务配置 重要 目前处于 未配置 状态的数据同步任务支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 数据同步 页面，单击未配置的目标...
前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。背景信息 Hologres支持的版本：0.7、0.8、0.9、0.10、1.1。字段使用限制：不支持UUID类型的字段。操作步骤 进入数据开发页面。...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
数据传输支持下载数据同步任务的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存任务配置信息和批量、快速配置任务。下载对象配置 新建数据同步任务后，您可以下载同步对象的配置信息。...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步任务。背景信息 目前数据同步任务仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步任务后，再对任务进行具体配置和管理。数据同步任务...
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...