右键单击您所创建的业务流程，然后单击 新建节点 离线同步 进入 新建节点 对话框，输入新建节点 名称 信息。单击 确认。以同样的方式再新建一个ODPS SQL节点。通过拖拽连线，设置离线同步节点为ODPS SQL节点的上游。数据同步节点用来同步每...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
您可以在数据开发（DataStudio）界面直接创建离线同步节点，用于离线（批量）数据周期性同步。同步类型 全量数据同步 将源时序表中现有的所有时序数据同步到目标时序表中。增量数据同步 定时（例如每隔一天）将源时序表中新增的数据同步到...
大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。支持通过where语句过滤数据 同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要自定义资源组。需要在RDS的白名单中...
场景三：定义目标字段 注意事项 在DataStudio界面单击运行 或高级运行 时，仅支持手动为离线同步任务配置的变量赋值常量，由于数据集成无法直接使用开发环境冒烟测试功能，建议您通过以下方式验证调度参数在调度场景下的替换情况。...
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置离线同步任务。您也可以参见 创建同步任务 进行实例操作。Oracle数据库数据实时同步时，可以选择...
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至StarRocks的 ods_user_info_d_starrocks、ods_raw_log_d_starrocks 表。旨在介绍如何通过...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要...
数据同步：如果数据已经丢失，可以考虑重新全量同步，或者配置一个离线同步任务来手动同步丢失的数据。实时同步是否支持将单库多表的不同字段进行合并？比如A表为a、b字段，B表为a、c字段，同步之后为a、b、c字段？不支持。只支持Schema...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
数据同步Worker：用于执行数据同步任务，包括离线同时、实时同步。空间同步Worker：用于空间数据同步。数据服务资源组：按数据API的定义，连接指定数据源，对外提供数据API。自定义执行器：支持用户按执行器规范，扩展自己的执行器。系统...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至StarRocks的 ods_user_info_d_starrocks、ods_raw_log_d_starrocks 表。旨在介绍如何通过...
更新数据集成同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
接口说明 DataWorks 目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务则需要先调用 GenerateDISyncTaskConfigForUpdating 和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据集成...
当目标端为 OceanBase 数据库，并且此处选择 允许 后，请进行下述配置：单条索引 DDL 并发配置：并行度越高，资源消耗越大，迁移速度越快。最大并发索引 DDL 数量配置：同一时刻，系统调用的后置索引 DDL 数量的最大值限制。允许索引后置的...
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
大数据离线同步场景（可实现最快5分钟一次的离线数据采集任务）。需要自定义查询语句，以及多表联合查询后同步数据的场景。同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要...
通过在DataWorks数据集成平台上配置离线同步任务，可实现表格存储中新增和变化数据的周期性增量同步至OSS，满足数据备份和后续处理需求。准备工作 获取Tablestore源表的实例名称、实例访问地址、地域ID 等信息，并为源表 开启Stream功能。...
TiDB数据源为您提供了离线读的能力，本文为您介绍DataWorks的TiDB数据同步的能力支持情况。支持的TiDB版本 离线读取：支持TiDB 7.x、8.x数据库版本。离线写入：暂不支持。实时读写：暂不支持。说明 TiDB 高度兼容MySQL协议，以及 MySQL 5.7...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
配置开销大：同步大量表时，逐一配置和维护任务的工作量巨大。资源消耗高：每个任务独立调度，100个单表任务的资源消耗远超1个整库任务。单表离线方案推荐：单表离线同步任务 2.选择「整库离线」当需要将大量、同构的数据表从一个地方高效...
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
通过讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合...
接口说明 DataWorks 目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，...
目前支持使用 CreateDISyncTask 接口创建数据集成离线同步任务（DI_OFFLINE），实时同步任务（DI_REALTIME）和解决方案（DI_SOLUTION）。DI_OFFLINE TaskContent string 是 数据集成同步任务的脚本内容。{"type":"job","version":"2.0",...
目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认策略保持一致。更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库...
本文为您介绍如何使用数据传输服务DTS（Data Transmission Service）将 PolarDB-X 2.0 实例的数据同步至云数据库SelectDB版实例。前提条件 已创建源 PolarDB-X 2.0 实例和目标 云数据库SelectDB版实例。注意事项 类型 说明 源库限制 带宽...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群的数据同步至Doris数据库，以满足您的海量数据分析需求。本文以目标库为ECS实例中部署的Doris数据库为例，为您介绍相关操作步骤。前提条件 已创建存储空间大于源 ...
目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认策略保持一致。更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库...
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或 RDS MySQL）的数据同步至Doris数据库，以满足您的海量数据分析需求。本文以源库为 RDS MySQL 实例，且目标库为ECS实例中部署的Doris数据库为例，为您介绍...