本文以将Kafka单表离线同步至MaxCompute为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确...
离线周期任务创建完成后，需对已新建的离线同步任务进行上线运行，本章节介绍如何运行MySQL to MaxCompute任务。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看脚本同步任务的监控。前提条件 已上线脚本同步任务，具体操作，请参见 ...跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。
通过脚本模式配置离线数据同步任务，具体请参见 通过脚本模式配置离线同步任务。创建业务流程。登录 DataWorks控制台。在左侧导航栏，单击 工作空间。选择工作空间所在地域，单击目标工作空间 操作 列的 快速进入 数据开发。在 数据开发 ...
数据集成目前支持将MySQL源头的数据整库离线同步至StarRocks。本文以MySQL离线同步写入StarRocks场景为例，为您介绍如何一次性把MySQL整个数据库的数据离线同步至StarRocks。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已...
测试运行 本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击 带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数...
数据集成目前支持将MySQL、PolarDB、SQL Server等源头的数据整库离线同步至Elasticsearch。本文以MySQL为源端、Elasticsearch为目标端场景为例，为您介绍如何将MySQL整个数据库的数据离线同步至Elasticsearch。前提条件 已购买 Serverless...
说明 批量修改离线同步任务资源组，可在运维中心进行批量修改操作，详情请参见 运维中心批量修改离线同步任务资源组。实时同步任务 在 项目目录 下找到目标实时同步任务，进入编辑页面。单击编辑页面右侧的 基本配置，修改所需使用的 资源...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何一次性把Hologres整个数据库的数据离线同步至...
镜像同步复制只经过内存和网络，不依赖磁盘存储，同步速度快。支持增量同步，避免重复同步已同步的镜像。支持并发同步，可通过配置文件调整并发数。支持自动重试失败的同步任务，解决网络抖动问题。不依赖Docker及其他程序，只需保证运行...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、PolarDB等源头的数据整库离线同步至Hologres。本文以Hologres离线同步写入Hologres场景为例，为您介绍如何一次性把Hologres整个数据库的数据离线同步至另一个Hologres...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d_odps、ods_raw_log_d_odps 表。旨在介绍如何通过DataWorks数据集成...
右键单击您所创建的业务流程，然后单击 新建节点 离线同步 进入 新建节点 对话框，输入新建节点 名称 信息。单击 确认。以同样的方式再新建一个ODPS SQL节点。通过拖拽连线，设置离线同步节点为ODPS SQL节点的上游。数据同步节点用来同步每...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
镜像同步复制只经过内存和网络，不依赖磁盘存储，同步速度快。支持增量同步。通过对同步过的镜像blob信息落盘，不会对已同步的镜像进行重复同步。支持并发同步。可以通过配置文件调整并发数。支持自动重试失败的同步任务，解决大部分镜像...
支持的版本 离线读写：支持PolarDB-X 2.0，且离线同步支持读取视图。支持的字段类型 PolarDB-X 2.0的全量字段类型请参见 数据类型。下面为您罗列当前主要字段的支持情况。字段类型 离线读（PolarDB-X 2.0 Reader）离线写（PolarDB-X 2.0 ...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、PolarDB等源头的数据整库离线同步至Hologres。本文以ClickHouse为源端、Hologres为目标端场景为例，为您介绍如何把ClickHouse整个数据库的数据离线同步到Hologres。...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d_odps、ods_raw_log_d_odps 表。旨在介绍如何通过DataWorks数据集成...
您可以在数据开发（DataStudio）界面直接创建离线同步节点，用于离线（批量）数据周期性同步。同步类型 全量数据同步 将源时序表中现有的所有时序数据同步到目标时序表中。增量数据同步 定时（例如每隔一天）将源时序表中新增的数据同步到...
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 您可以使用...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、PolarDB等源头的数据整库离线同步至Hologres。本文以AnalyticDB for MySQL3.0为源端、Hologres为目标端场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何一次性把MySQL整个数据库的数据离线同步至MaxCompute...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
数据集成目前支持将AnalyticDB for MySQL 3.0、MySQL、Oracle、PolarDB、PostgreSQL等源头的数据整库离线同步至OSS。本文以MySQL为源端，OSS为目标端场景为例，为您介绍如何将MySQL整个数据库的数据离线同步到OSS数据湖。前提条件 已购买 ...
场景三：定义目标字段 注意事项 在DataStudio界面单击运行 或高级运行 时，仅支持手动为离线同步任务配置的变量赋值常量，由于数据集成无法直接使用开发环境冒烟测试功能，建议您通过以下方式验证调度参数在调度场景下的替换情况。...
如果需要定期将 表格存储（Tablestore）中的新增或变更数据同步至MaxCompute进行备份或业务处理，您可以通过在DataWorks数据集成平台上配置离线同步任务，实现周期性增量同步功能。前提条件 已获取Tablestore源表的实例名称、实例访问地址...
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已创建MySQL数据源和Hive数据源，详情请参见 数据源配置。已完成资源组与数据源...
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置离线同步任务。您也可以参见 创建同步任务 进行实例操作。Oracle数据库数据实时同步时，可以选择...
在 新建节点 对话框中选择 同步方式，具体的同步方式可见下表：同步任务配置类型 同步方式 配置单表实时同步任务 单表（Topic）到单表（Topic）ETL 配置整库实时同步任务 数据库变更数据同步到MaxCompute 数据库变更数据同步到Hologres ...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。单表及整库实时同步任务配置指导 操作流程请参见 ...