5分钟快速了解 功能概述 多数据源实时集成同步：实时集成支持多种来源端数据源汇聚组合至目标端数据源，形成实时同步链路进行数据同步。数据源圈选：实时集成支持整库、部分表、排除表圈选方式，实时增量同步至目标端数据源。整库：实时...
整库实时同步功能通过 一次性全量迁移 与 持续增量捕获 相结合，将源数据库（如MySQL、Oracle）完整、低延迟地同步至目标系统。整库实时同步任务支持对源库历史数据进行全量同步，自动初始化目标端表结构与数据；随后，自动转为实时增量...
数据集成目前支持将MySQL、Oracle、PolarDB等源头的数据整库实时同步至StarRocks。本文以MySQL为源端、StarRocks为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至StarRocks。前提条件 已购买 Serverless资源组。已...
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 运维中心，在下拉框中选择对应工作...
本文介绍如何上线实时同步任务。前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 ...
数据集成目前支持将DataHub、Hologres、Kafka、LogHub等源头的数据单表实时同步至Hologres。单表实时同步任务根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将...
单表实时同步任务根据来源的Hologres表结构在目标Doris数据源中创建目标表，并写入来源表的数据。本文为您介绍如何将Hologres单表数据实时ETL至Doris任务。使用限制 Hologres版本必须在2.1以上。不支持Hologres分区表的增量同步。不支持...
单表实时同步任务根据来源Kafka指定Topic的内容结构对目的ApsaraDB for OceanBase表结构做初始化，然后将Kafka指定Topic的存量数据同步至ApsaraDB for OceanBase，同时也持续将增量数据实时同步至ApsaraDB for OceanBase。本文为您介绍如何...
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
本文为您介绍一键实时同步MaxCompute任务失败场景及恢复解决方法。常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景...
数据集成目前支持将MySQL、Oracle、PolarDB等源端的数据整库实时同步至Hologres。本文以MySQL为源端、Kafka为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至Kafka。前提条件 已购买 Serverless资源组 或 独享数据...
数据集成目前支持将DataHub、Hologres、Kafka、LogHub等源头的数据单表实时同步至Hologres。单表实时同步任务根据来源的Hologres表结构在目标Hologres数据源中创建目标表，并写入来源表的数据。本文为您介绍如何将Hologres单表数据实时ETL...
下线时间 北京时间 2025-06-11 00:00:00 下线影响 自2025年6月11日起，您将无法通过云备份控制台或API使用“文件同步”功能，您的同步任务将停止执行，且在文件同步功能中的相关配置将会被删除。应对方案 如果您还有文件同步的需求，可以...
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型（I/D/U）...
本文以Oracle单表实时同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已创建Oracle数据源和Tablestore数据源，详情请...
同步备份是一项便捷、高效的云存储功能，支持云与本地数据的双向实时同步，实现多终端设备数据的最终一致性保持。重要 如您需要使用同步备份功能，请务必按照以下步骤进行操作：使用PC端登录企业网盘客户端（1.4.0及以上版本）。如需使用...
前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。背景信息 Hologres支持的版本：0.7、0.8、0.9、0.10、1.1。字段使用限制：不支持UUID类型的字段。操作步骤 进入数据开发页面。...
数据集成目前支持将MySQL、PolarDB等源头的分库分表数据实时同步至MaxCompute。本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。背景信息 实际业务场景下数据同步通常不能通过一个...
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的StarRocks表结构做初始化，然后将Kafka指定Topic的存量数据同步至StarRocks，同时也持续将增量数据实时同步至StarRocks。本文为您介绍如何创建Kafka实时ETL同步至StarRocks任务。...
数据集成目前支持将Kafka、LogHub等源头的数据单表实时同步至OSS。本文以Kafka为源端、OSS为目标端场景为例，为您介绍Kafka如何通过数据集成实时同步至OSS数据湖。使用限制 Kafka的版本需要大于等于0.10.2小于等于2.2.0。前提条件 已购买 ...
数据集成目前支持将MySQL、Oracle、PolarDB等源头的数据整库实时同步至DataHub。本文以MySQL为源端、DataHub为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至DataHub。前提条件 已购买 Serverless资源组 或 独享数据...
数据集成目前支持将ApsaraDB for OceanBase、MySQL、Oracle、PolarDB等源头的数据整库实时同步至AnalyticDB for MySQL 3.0。本文以MySQL为源端、AnalyticDB for MySQL 3.0为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量...
数据集成目前支持将DataHub、Kafka、LogHub等源头的数据单表实时同步至MaxCompute。本文以LogHub为源端、MaxCompute为目标端场景为例，为您介绍如何将LogHub（SLS）数据单表实时同步至MaxCompute。前提条件 已购买 Serverless资源组 或 独...
数据集成目前支持将LogHub（SLS）、Kafka等源头的单表数据通过ETL实时同步至Data Lake Formation。本文以LogHub（SLS）为源端、Data Lake Formation为目标端的场景为例，为您介绍单表实时同步数据至Data Lake Formation。使用限制 仅支持 ...
数据集成目前支持将MySQL、PostgreSQL等源头的数据整库实时同步至Doris。本文以MySQL为源端、Doris为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至Doris。前提条件 已购买 Serverless资源组 或 独享数据集成资源组...
数据集成目前支持将DataHub、Hologres、Kafka、LogHub等源头的数据单表实时同步至Hologres。本文以LogHub为源端、Hologres为目标端场景为例，为您介绍如何将LogHub（SLS）数据单表实时同步至Hologres。前提条件 已购买 Serverless资源组 或...
一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错？PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性...
数据集成目前支持将MySQL、PostgreSQL等源头的数据整库实时同步至SelectDB。本文以MySQL为源端、SelectDB为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至SelectDB。前提条件 已购买 Serverless资源组 或 独享数据...
数据集成目前支持将MySQL、PostgreSQL、OceanBase等源头的数据整库实时同步至Data Lake Formation（简称DLF）。本文以MySQL为源端、Data Lake Formation为目标端的场景为例，为您介绍整库实时入湖至Data Lake Formation。使用限制 仅支持 ...
数据集成目前支持将Kafka、LogHub等源头的数据单表实时同步至OSS。本文以LogHub（SLS）为源端、OSS-HDFS为目标端场景为例，为您介绍如何把SLS的单个Logstore数据实时同步到OSS-HDFS数据湖。前提条件 已购买 Serverless资源组 或 独享数据...
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
数据集成目前支持将MySQL、PolarDB等源头的数据整库实时同步至OSS。本文以MySQL实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已创建MySQL数据源和ApsaraDB for...
DI_REALTIME FileId long 是 当 TaskType 为 DI_REALTIME 时，则 FileId 为实时同步任务的文件 ID。当 TaskType 为 DI_SOLUTION 时，则 FileId 为同步解决方案的任务 ID。您可以调用 ListFiles 接口获取任务 ID。100 返回参数 名称 类型 ...
调用StopDISyncInstance接口，停止实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL版间的单向同步 PolarDB MySQL版间的双向同步 PolarDB 与其它数据库的数据同步 RDS MySQL同步至...
DataWorks数据集成提供了强大的整库实时同步解决方案，旨在帮助您将源数据库中的全部或部分表，以“全量+增量”一体化的方式，低延迟、自动化地复制到目标数据存储中。该功能基于实时计算引擎，能够自动完成数据的首次全量初始化，并无缝...
在数据集成中创建和运行实时同步任务，详情请参见 配置单表增量数据实时同步 和 实时同步任务运维。本示例创建的实时同步任务，配置输入为Loghub数据源，输出为Hologres数据源，并配置如下字段同步映射关系。查询数据。实时同步任务运行...
数据集成目前支持将ApsaraDB for OceanBase、MySQL、Oracle、PolarDB等源头的数据整库实时同步至Hologres。本文以MySQL为源端、Hologres为目标端场景为例，为您介绍如何将MySQL整个数据库的数据全量+增量同步至Hologres。前提条件 已购买 ...
说明 此处定义的报警规则，将对该任务产生的实时同步子任务生效，您可在任务配置完成后，进入 实时同步任务运行与管理 界面查看并修改该实时同步子任务的监控报警规则。管理报警规则。对于已创建的报警规则，您可以通过报警开关控制报警...
创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建同步任务中设置的调度周期执行，支持一次性运行和周期运行。任务...