当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：需开启，并确保 loose_polar_log_bin 的参数值为 ON。否则，预检查阶段将提示报错，且无法成功启动DTS实例...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。Binlog日志：需要确保Binlog的 binlog_row_...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon...
查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：同步示例 1.USER_DEFINE同步模式 建立DataHub Topic 备注：topic schema中必须需要包含...
老版查询同步作业的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
在 新建节点 对话框中选择 同步方式，具体的同步方式可见下表：同步任务配置类型 同步方式 配置单表实时同步任务 单表（Topic）到单表（Topic）ETL 配置整库实时同步任务 数据库变更数据同步到MaxCompute 数据库变更数据同步到Hologres ...
说明 如果未被授权的RAM用户通过 RAM角色授权模式 创建数据源，则通过RAM角色授权模式数据源配置的同步任务都将运行失败。数据源的创建者进入DataWorks数据集成，以 RAM角色授权模式 创建数据源，实现运行同步任务时，以DataWorks服务账号...
目标Tair实例 操作步骤 进入目标地域的同步任务列表页面（二选一）。通过DTS控制台进入 登录 数据传输服务DTS控制台。在左侧导航栏，单击 数据同步。在页面左上角，选择同步实例所属地域。通过DMS控制台进入 说明 实际操作可能会因DMS的...
ListDIJobEvents 获取数据集成同步任务的运行事件列表 获取数据集成任务事件。任务告警 任务告警 CreateDIAlarmRule 创建数据集成同步任务告警规则 创建数据集成报警规则。UpdateDIAlarmRule 更新数据集成同步任务告警规则 更新数据集成...
实际效果如图 9 所示：图 9：运行默认的同步任务 步骤三：修改配置 现在，我们将默认的同步任务，修改为 OpenTSDB 到 TSDB 的同步任务。首先，我们通过点击 按钮，开始导入配置模板。实际效果如图 10 所示：图 10：导入模板 在弹窗中配置...
购买数量 表示您需要运行数据同步的任务个数。默认值为 1，支持选择的最大数量为 500。购买时长 您可以根据实际情况，选择需要购买的时长。建议您勾选 到期自动续费，避免因资源到期停机或释放而影响业务。单击 立即购买。在 确认订单 页面...
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
具有丰富的产品能力：数据集成提供丰富的异构数据源之间高速稳定的数据移动及同步能力，满足从离线到实时、从单表到整库、从全量到增量的同步需求，详情参见 支持的数据源及同步方案。说明 独享数据集成资源组保障的是数据同步实例可以同时...
原因之一就是同步的binlog变多，因为binlog是实例级别，即便配置的同步任务只同步了表A，那么没有在任务中的表B、表C等如果发生变更，也会生成binlog，这些额外增加的binlog就会使同步处理的速度变慢。实时同步中选择单库与选择多库的内存...
运行日志 单击同步任务对应 操作 列的 查看日志，查看任务的运行日志。如果同步任务的 状态 不是 成功，可单击 操作 列的 重试，重新运行对应同步任务。此时在任务的同步开始时间列，显示图标，单击该图标可查看任务运行的首次尝试时间。您...
问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很慢，为什么我的独享资源组经常等待资源？并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当...
说明 若您未开启 自动刷新 功能，则需要手动单击 操作 上方的 按钮，以刷新同步实例的 运行状态。常见问题 目标库为 Kafka 的同步实例，是否支持修改 Kafka压缩格式？支持。目标库为 Kafka 的同步实例，是否支持修改 消息确认机制？支持。...
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，在顶部菜单栏选择 研发 数据集成。在顶部菜单栏，选择目标 项目。在左侧导航栏，选择 整库迁移 离线整库...
注意HDFS方式同步不支持配置条件过滤、不支持读取视图（VIEW）表，您可以根据自身需求选择相应的同步方式。表 选择待同步的Hive表。建议对于要进行数据同步的表，Hive数据源开发和生产环境应保证具有相同的表结构。说明 此处会展示Hive数据...
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，在顶部菜单栏选择 研发 数据集成。在顶部菜单栏，选择目标 项目。在左侧导航栏，选择 整库迁移 离线整库...
下线：下线未运行、异常及停止的同步任务。新增告警：勾选对应同步任务后，单击 新增告警，即可进行同步任务设置告警规则。操作告警：勾选对应同步任务后，单击 操作告警，即可对同步任务告警进行删除、启用和停止操作，同时支持通过选择告...
五、调试配置并运行 单击离线同步节点编辑页面右侧的 调试配置，设置调试运行使用的 资源组 和 脚本参数，然后单击顶部工具栏的 运行，测试同步链路是否成功运行。您可以在左侧导航栏单击，然后单击 个人目录 右侧的，创建一个后缀为.sql ...
六、调试配置并运行 单击离线同步节点编辑页面右侧的 调试配置，设置调试运行使用的 资源组 和 脚本参数，然后单击顶部工具栏的 运行，测试同步链路是否成功运行。您可以在左侧导航栏单击，然后单击 个人目录 右侧的，创建一个后缀为.sql ...
如果同步的源数据库类型为PostgreSQL，如RDS PostgreSQL、自建PostgreSQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意...
五、调试配置并运行 单击离线同步节点编辑页面右侧的 调试配置，设置调试运行使用的 资源组 和 脚本参数，然后单击顶部工具栏的 运行，测试同步链路是否成功运行。您可以在左侧导航栏单击，然后单击 个人目录 右侧的，创建一个后缀为.sql ...
批量创建 当一次录入多个服务后，MSHA控制台会异步执行这些任务，此时任务的运行状态为 同步任务创建中。当同步任务状态为 同步中 时，说明该服务已经从源注册中心同步到目标注册中心。注册中心同步配置完成后，在注册中心同步配置页面：...
批量创建 当一次录入多个服务后，MSHA控制台会异步执行这些任务，此时任务的运行状态为 同步任务创建中。当同步任务状态为 同步中 时，说明该服务已经从源注册中心同步到目标注册中心。注册中心同步配置完成后，在注册中心同步配置页面：...
如果同步的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意...
如果同步的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 ...
启动数据同步任务 创建数据同步任务时，如果在预检查完成后仅保存该数据同步任务，未进行启动，则需要在同步任务列表中手动启动数据同步任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 同步任务列表 页面，...
批量创建 当一次录入多个服务后，MSHA控制台会异步执行这些任务，此时任务的运行状态为 同步任务创建中。当同步任务状态为 同步中 时，说明该服务已经从源注册中心同步到目标注册中心。相关操作 注册中心同步配置完成后，在注册中心同步...
DescribeProjectStepMetric 查询任务步骤的指标 本接口用于查询数据迁移或数据同步任务的运行步骤的指标。DescribeProjectProgress 查询任务的进度 本接口用于查询数据迁移或数据同步任务的进度信息。DescribeProjectComponents 查询任务的...
如果同步的源集群为 PolarDB MySQL版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认...
本文档将引导您完成使用阿里云数据传输服务（DTS）从MySQL数据库同步数据的全过程，整个过程可以归纳为七大核心步骤。步骤一：准备工作 在配置同步任务前，请完成以下准备工作，确保任务顺利执行。（可选）接入阿里云：请您先确保业务环境...
请确认数据传输对 DECIMAL、FLOAT 或 DOUBLE 等列类型的同步精度是否符合预期。如果目标端字段类型的精度小于源端字段类型的精度，则可能发生截断现象，导致源端和目标端的数据不一致。如果您变更目标端的唯一索引，需要重启数据同步任务，...
智能助手 DTS Insight：DTS为您提供的智能化运维助手，可帮助您更好地了解和使用DTS产品及服务，同时，它能够实时监控任务的运行状态，并在任务出现异常时协助您进行修复。常见问题 数据迁移和数据同步有什么区别？如何选择？目的不同 数据...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon...
如果同步的源实例为 PolarDB-X 1.0，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。重要 更多功能规范和约束说明，请参见 源为PolarDB-X的功能规范和约束说明。推荐的任务配置方案，请参见 源为...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon...