步骤三：配置ODPS SQL节点 本案例需要将每层加工逻辑通过ODPS SQL调度实现，由于各层节点间存在强血缘依赖，并且在数据采集阶段已将同步任务产出表手动添加为 节点的输出，所以本案例数据加工类的任务依赖关系通过DataWorks 自动解析机制 ...
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
步骤三：配置ODPS SQL节点 本案例需要将每层加工逻辑通过ODPS SQL调度实现，由于各层节点间存在强血缘依赖，并且在数据采集阶段已将同步任务产出表手动添加为 节点的输出，所以本案例数据加工类的任务依赖关系通过DataWorks 自动解析机制 ...
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
不建议修改该参数，单次写入数据量过大可能写入失败 datahub.batchTimeout 5 可选 如果数据量没有达到batchSize，向datahub同步数据之前等待的时间（单位：秒）datahub.retryTimes 3 可选 数据同步失败重试次数 datahub.retryInterval 5 可...
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将数据从PolarDB-X 1.0迁移至DataHub。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和...
ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以RDS MySQL实例为源数据库介绍配置流程，其他数据源配置流程与本案例类似。前提条件 已创建源...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
当数据请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
当数据请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
当数据请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据集成。在数据集成任务列表的顶部，选择目标数据集成任务所属地域。找到目标数据集成任务，单击对应的...
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
当映射数据请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
本配置只需要比Salesforce批量数据准备任务自动分片的单批条数稍大即可获得最高下载性能。数据下载是流式的，增大此配置项不会占用更多内存。高级模式，向导模式不支持此参数的配。300000 where 否 筛选条件。当serviceType配置为sobject或...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至MaxCompute。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。更多信息，请参见 创建实例 和 创建数据库。已开通MaxCompute。更多...
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0迁移至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0的存储类型支持为RDS MySQL（包括私有定制...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将PolarDB-X 1.0迁移至RDS MySQL。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 ...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。...
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 快速...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将PolarDB-X 1.0迁移至 云原生数据仓库 AnalyticDB MySQL 版 3.0。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 购买包年包月集群。...
ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置流程，其他数据源配置流程与本案例类似。前提条件 已创建...
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。通过云企业网CEN接入的自建数据库。...
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...