同步任务运行速度过慢 同步任务日志显示 run，但速度为0。此类情况任务并非未执行，如果长时间处于该状态，建议单击Detail log查看详细执行情况。若Detail log中显示 WaitReaderTime 参数值大，表示等待从源端返回数据时间较长。源端切分键...
适用于数据量较大的情况，可以提高同步速度。批量写入数据量 AnalyticDB for PostgreSQL和StarRocks目标数据源支持配置批量写入数据量，即一次性写入的数据量大小，可同时设置批量写入条数，写入时按两个配置中先达到上限的量写入。批量...
适用于数据量较大的情况，可以提高同步速度。批量写入数据量 Hive（数据湖表格式选择为Hudi时）、AnalyticDB for PostgreSQL和StarRocks目标数据源支持配置批量写入数据量，即一次性写入的数据量大小，可同时设置批量写入条数，写入时按两...
步骤四：查看同步结果 运行同步任务后，可通过日志查看任务的执行状态，并在DataWorks控制台查看同步结果文件。在页面下方查看任务运行状态和结果，出现以下信息时表示同步任务运行成功。2025-11-18 11:16:23 INFO Shell run successfully!...
速度：同步速度，计算公式为 最后一次临时任务执行完成同步的总数据量/耗时。数据量：最后一次临时任务执行完成同步的总数据量。操作：仅当 增量同步 的运行状态为 运行中 时，支持查看日志、运行、停止和忽略操作。查看日志：单击查看日志...
运行同步任务 单击页面上方的 运行，开始同步任务，首次运行时需确认 调试配置。步骤四：查看同步结果 运行同步任务后，可通过日志查看任务的执行状态，并在OSS Bucket查看同步结果文件。在页面下方查看任务运行状态和结果，出现以下信息时...
在 新建节点 对话框中选择 同步方式，具体的同步方式可见下表：同步任务配置类型 同步方式 配置单表实时同步任务 单表（Topic）到单表（Topic）ETL 配置整库实时同步任务 数据库变更数据同步到MaxCompute 数据库变更数据同步到Hologres ...
后续系统会按照同步周期运行同步任务，将云产品数据同步到物联网平台数据服务的自定义存储表。可选操作 编辑云产品数据源配置 在 云产品 页签，找到已添加的云产品数据源。单击对应 操作 列的 编辑。在 编辑云产品数据源 面板，参考上文...
函数：在同步运行时进行函数计算，将计算结果赋值给新字段，如果函数处理过程发生异常，对应记录将被视为脏数据处理，计入同步任务脏数据统计并根据脏数据容忍配置决定任务是否异常退出。支持函数 函数名称 参数 说明 DATE_FORMAT 参数1：...
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
表格存储支持多种方式实现数据表间的数据迁移或同步。可通过通道服务、DataWorks、DataX或命令行工具等方式完成数据表到数据表的同步操作。前提条件 获取源数据表和目标数据表的实例名称、实例访问地址、地域ID 等信息。为阿里云账号或具有...
说明 Serverless资源组支持为同步任务指定运行CU上限，如果您的同步任务因资源不足出现OOM现象，请适当调整资源组的CU占用取值。选择 数据去向 为 Tablestore，并选择 数据源名称 为新增的表格存储数据源。系统会自动测试资源组与所选数据...
步骤三：查看同步结果 运行同步任务后，您可以通过日志查看任务的执行状态，并在表格存储控制台查看目标时序表的同步结果。查看任务执行状态。在同步任务的 结果 页签，查看 Current task status 对应的状态。当 Current task status 的值...
在ACR实例跨境同步的场景中（例如，中国内地与海外地域、中国内地与中国香港互相同步），ACR使用的默认同步链路可能会产生因公网网络质量不稳定导致的请求失败或速度缓慢的情况。ACR为这种场景提供了两种方案：跨境同步加速、自定义同步...
ApplyOutOfSyncOnly 仅同步OutOfSync状态的资源，可加快同步速度。PruneLast 在同步操作的最后阶段（即其他资源都已经部署并健康）才修剪资源。RespectIgnoreDifferences 已在 spec.ignoreDifferences 中配置忽略的字段，在同步阶段忽略...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
同步速度慢 如果观察到同步点位仍然在推进，但是界面中的 写详情 和 读详情 速度都很慢，可能是Search服务的集群写入能力达到瓶颈，需要扩容或者升配，具体可以参考Search实例云监控中显示的服务器负载情况。如果有相关的问题，可以在钉钉...
本文为您介绍DataWorks的Databricks数据同步的能力和支持情况。使用说明 使用限制 资源组：Databricks Reader 仅支持 Serverless资源组，并且需要为资源组绑定的VPC配置 公网 NAT 网关 和EIP。读取模式：数据同步仅支持 JDBC 模式读取数据...
管理员授权 BigDataOssRoleAllowUse 策略给允许使用 BigDataOssRole 角色的RAM用户，被授权 BigDataOssRoleAllowUse 策略的RAM用户可以通过 BigDataOssRole 角色来创建数据源（将 BigDataOssRole 作为数据源的访问身份）、运行同步任务。...
如果ADB数据源配置的实例从数仓版切换到了湖仓版，使用该数据源运行在公共资源组上的同步任务将会失败，建议切换前，确认是否有运行在公共资源组上的同步任务，并且将其切换到 Serverless资源组（推荐）或独享数据集成资源组运行。离线同步...
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer支持使用 ...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
本文档将引导您完成使用阿里云数据传输服务（DTS）从MySQL数据库同步数据的全过程，整个过程可以归纳为七大核心步骤。步骤一：准备工作 在配置同步任务前，请完成以下准备工作，确保任务顺利执行。（可选）接入阿里云：请您先确保业务环境...
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
DataWorks提供了一键MaxCompute数据同步节点功能，帮助您快速完成从MaxCompute到Hologres数据库的数据同步，可以实现对MaxCompute表数据的高效查询。本文将详细介绍如何使用一键MaxCompute数据同步节点。背景信息 您可以通过SQL语句直接将...
如果该值设置过大，会导致数据同步运行进程OOM异常。否 256 updateColumn 当 writeMode 配置成 update 时，发生主键/唯一性索引冲突时所更新字段。字段之间用英文逗号所分隔，例如"updateColumn":["name","age"]。否 无
确认是否需要时间同步 如何快速检查实例时间是否准确 Linux(chrony)阿里云公共镜像中包含了默认的时间同步配置，基于公共镜像创建的ECS实例会默认运行 chrony 进行时间同步。部分老旧的公共镜像默认运行的是 ntpd，可使用 ps-C chronyd,...
PolarDB数据源为您提供读取和写入PolarDB双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时，您需要开启Binlog。阿里云PolarDB MySQL是一款完全...
parallelism.default 设置Flink任务的并行度，适当增加并行度可提高数据同步速度。database 同步到SelectDB的数据库名。including-tables 需要同步的MySQL表，可以使用"|"分隔多个表，并支持正则表达式。例如-including-tables table1|tbl....
在编辑节点页面单击 图标，运行同步任务，导入MaxCompute表数据。查看同步的MaxCompute表数据。在左侧导航栏，单击 图标，进入表管理页面。双击需要查看的Hologres内部表，显示表编辑页面。说明 若表管理页面未显示目标表，您需要在...
DataWorks的数据同步至MaxCompute节点支持将Hologres中的单表数据迁移到MaxCompute，帮助您高效存储大数据。本文将详细介绍配置流程，让您轻松迁移数据并充分利用MaxCompute的高性能处理能力。前提条件 已 创建MaxCompute项目 和 Hologres...
DataWorks的数据同步节点支持将MaxCompute中的单表数据同步到Hologres，帮助您更高效地进行大数据分析和实时查询。本文将详细介绍配置流程，让您轻松迁移数据并充分利用Hologres的高性能查询能力。背景信息 在使用此功能将MaxCompute的内部...
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
数据传输服务DTS（Data Transmission Service）支持将MongoDB（分片集群架构）的数据同步至MongoDB（副本集架构或分片集群架构）。本文以 云数据库MongoDB版 实例间的数据同步为例，为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...
方案概述 企业想要实现员工从IdP到IDaaS的同步，做完首次初始同步后，每次新增员工后，如果必须手动到IDaaS触发同步，或IDaaS默认的同步周期无法满足企业要求时，可以采用此方案实现自动化定时同步。本文档介绍了一种通过函数计算定时调用...
您可以在任务运行详情中切换到 运行信息 页签，查看任务同步速度：当同步速度很大时，说明Binlog增长速度快。当同步速度不大，您可以在MySQL服务端查看Binlog的统计指标和审计日志确认实际增长速率。但同步速度可能无法反映当前同步任务...
原因之一就是同步的binlog变多，因为binlog是实例级别，即便配置的同步任务只同步了表A，那么没有在任务中的表B、表C等如果发生变更，也会生成binlog，这些额外增加的binlog就会使同步处理的速度变慢。实时同步中选择单库与选择多库的内存...
问题描述 Dataphin同步任务运行失败报错："request signature expired，age=60s。问题原因 服务器时间不一致导致的。解决方案 将mesos节点的机器时间和worker节点的时间保持一致。适用于 Dataphin
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 运维中心，在下拉框中选择对应工作...
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看脚本同步任务的监控。前提条件 已上线脚本同步任务，具体操作，请参见 ...跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。