DataWorks提供了一键MaxCompute数据同步节点功能，帮助您快速完成从MaxCompute到Hologres数据库的数据同步，可以实现对MaxCompute表数据的高效查询。本文将详细介绍如何使用一键MaxCompute数据同步节点。背景信息 您可以通过SQL语句直接将...
如果同步的源数据库类型为自建Oracle，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Oracle的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 在库表结构同步过程中...
如果同步的源库为 Db2 for LUW，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等...
如果同步的源实例为 PolarDB-X 2.0，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
状态 当前资源组的运行状态，包括：运行中 已到期 已释放 启动中 创建失败 更新中 更新失败 已释放 超时 到期时间 当前资源组可用的截止日期。规格 创建资源组时定义的资源组规格。数量 创建资源时定义的资源数量。使用率 资源组当前使用率...
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
已经运行的同步任务，可以中途添加新的表吗？可以。对于数据同步任务，可在任务运行过程中 修改同步对象，添加新的库或表。但对于数据迁移任务，不支持此操作。如何将多个源库的数据合并到一个目标库，或将一个源库的表同步到目标库已存在...
任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务...
如果同步的源数据库类型为Redis，如自建Redis、云数据库Tair（兼容Redis），您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意...
可通过通道服务、DataWorks、DataX或命令行工具等方式完成数据表到数据表的同步操作。前提条件 获取源数据表和目标数据表的实例名称、实例访问地址、地域ID 等信息。为阿里云账号或具有表格存储权限的RAM用户 创建AccessKey。使用SDK同步...
任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务...
运行同步任务 单击页面上方的 运行，开始同步任务，首次运行时需确认 调试配置。步骤四：查看同步结果 运行同步任务后，可通过日志查看任务的执行状态，并在OSS Bucket查看同步结果文件。在页面下方查看任务运行状态和结果，出现以下信息时...
任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务...
任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务...
2025-11-18 11:16:23 INFO Current task status:FINISH 2025-11-18 11:16:23 INFO Cost time is:77.208s 查看目标表的同步结果。前往 DataWorks控制台，在左侧菜单栏单击 数据治理 数据地图，然后单击 进入数据地图，查看目标表和数据。...
单击页面上方的 运行，开始同步任务。上述示例值表示同步 2025 年 11 月 19 日 20 点到 20 点 50 分（不包含）的增量数据。步骤四：查看同步结果 运行同步任务后，可通过日志查看任务的执行状态，并在OSS Bucket查看同步结果文件。在页面...
三、调试运行 单击离线同步节点编辑页面右侧的 调试配置，设置调试运行使用的 资源组 和 脚本参数，然后单击顶部工具栏的 运行，测试同步链路是否成功运行。您可以前往Milvus侧，查看数据去向Collection中的数据是否符合预期。四、调度配置...
DataWorks支持使用DataStudio一键同步MaxCompute数据至Hologres，您可使用该方式快速查询MaxCompute表数据。本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要...
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。前提条件 已完成实时同步任务的创建、...
由于源集群数据不断更新，工具会定期检测新增数据并启动新的同步任务，因此进度百分比可能会下降（如从100%降至90%），这是正常现象。以下是与进度相关的参数详情。参数 说明 total 此次数据迁移中的总作业数。ddlPending 待执行的DDL作业...
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
速度：同步速度，计算公式为 最后一次临时任务执行完成同步的总数据量/耗时。数据量：最后一次临时任务执行完成同步的总数据量。操作：仅当 增量同步 的运行状态为 运行中 时，支持查看日志、运行、停止和忽略操作。查看日志：单击查看日志...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon...
您可以在实时同步任务的运行详情页切换到 日志 页签，在日志中搜索是否有 uploader map size has reached uploaderMapMaximumSize。增加并发设置或开启分布式运行模式解决延迟问题 如果根据上述步骤确认非读写异常引发的任务延迟，而是源端...
运维大屏为您展示周期任务的运维稳定性评估、关键运维指标、调度资源使用概况，以及手动任务和数据集成同步任务的运行详情。这有助于您从宏观角度快速了解整个空间任务的总体情况，及时发现并处理异常任务，从而提升运维效率。使用说明 运...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。DTS不支持同步源库中的临时表、系统内部的...
HoloWeb支持使用可视化方式一键同步MaxCompute数据，方便您快速查询MaxCompute数据。本文为您介绍如何使用HoloWeb，新建MaxCompute同步数据任务并查看任务的状态信息。前提条件 已 购买Hologres 并 创建数据库。新建MaxCompute数据同步任务...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
Serverless资源组支持为同步任务指定运行CU上限，如果您的同步任务因资源不足出现OOM现象，请适当调整资源组的CU占用取值。步骤三：配置实时同步任务 配置单表实时同步任务 配置输入数据源。目前，同步单表数据支持的输入数据源类型及其...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。DTS不支持同步源库中的临时表、系统内部的...
在数据同步完成后（实例的 运行状态 为 已完成），建议使用 analyze table 表名 命令以确认数据均已写入目标表。例如，在目标MySQL数据库触发HA切换机制后，可能会导致数据只写到了内存，从而造成数据丢失。若实例运行失败，DTS技术支持...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。PolarDB-X 2.0 实例默认已开启Binlog，您需...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。DTS不支持同步源库中的临时表、系统内部的...
已选择对象 如需设置待同步对象在目标实例中的名称，或指定目标实例中接收数据的对象，请右击 已选择对象 中的同步对象进行修改。设置方式，请参见 库表列名映射。如需移除已选择的同步对象，请在 已选择对象 框中单击待同步的对象，然后...
同步任务运维 查看任务运行状态 创建完成同步任务后，您可以在同步任务页面查看当前已创建的同步任务列表及各个同步任务的基本信息。您可以在操作列 启动 或 停止 同步任务，在更多中可以对同步任务进行 编辑、查看 等操作。已启动的任务您...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：MySQL RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
若同步对象为表级别且需进行编辑（如表列名映射），当单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。在库表结构同步和全量同步阶段，请勿执行库或...
如果没有明确定义其精度，DTS默认对FLOAT的同步精度为38位，对DOUBLE的同步精度为308位，请确认同步精度是否符合业务预期。DTS会尝试自动恢复七天之内同步失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者使用 REVOKE ...