物联网平台提供云产品数据源配置功能，导入其他阿里云产品数据到物联网平台，称为云产品数据。您可将其他阿里云平台的数据同步至物联网平台的数据服务中，用于数据的加工处理和分析。...后续操作 管理同步任务和数据存储表
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
GetDISyncInstanceInfo 获取同步任务实例信息 获取实时同步任务和同步解决方案任务的运行状态。TerminateDISyncInstance 终止同步任务 下线数据集成实时同步任务。GenerateDISyncTaskConfigForCreating 异步生成同时任务的JSON 异步生成...
新建管理同步任务文件夹，详情请参见 新建同步任务文件夹。新建同步任务的目标表，详情请参见 新建同步目标表。新建同步任务，详情请参见 新建同步任务。配置同步任务，详情请参见 配置同步任务。说明 系统默认为同步任务分配0.5核CPU、1GB...
接口说明 DataWorks 目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务则需要先调用 GenerateDISyncTaskConfigForUpdating 和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据集成...
同步任务文件夹将不同类型的同步任务进行分类存放，帮助您更好地管理同步任务。本文为您介绍如何新建同步任务文件夹及对已添加的同步任务文件夹支持的更多操作。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，...
调用StartDISyncInstance接口，启动实时同步任务和解决方案同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
查看实时任务列表 实时任务实例页面以列表形式对被调度的实时同步任务进行运维和管理，包括查看实时同步任务基本信息、检查运行信息和基本属性配置以及启动和下线实例等功能。区域 描述 1 在该区域，您可以通过筛选条件过滤出需要查询的...
接口说明 DataWorks 目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，...
任务需为数据迁移任务和同步任务，订阅任务无需配置链路规格。任务不能处于最大规格。费用说明 如计费方式为包年包月 配置费用=（升级后任务每天的价格-升级前任务每天的价格）×升级当天到服务到期日的剩余天数。说明 升级后任务每天的...
DataWorks 目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、GenerateDISyncTaskConfigForUpdating 和 ...
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
日常工作中，企业通常会对实时...DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据集成迁移日志数据至MaxCompute。此方法为定时任务，配置一次可以多次执行同步任务。
请求参数：页长固定，此处配置为 pageSize=50，建议不要单页特别大，会给RestAPI服务端和同步任务带来压力。请求次数：本示例选择 多次请求。本接口的分页参数是pageNum，选择 多次请求 后，下方的相关参数配置为：多次请求对应参数：配置...
可用性和流量控制可以在创建任务时的高级配置中设置，详情请参见 创建调度任务 和 任务管理高级配置参数说明。说明 只有1.1.0及以上版本客户端才支持多语言版本的分片模型。Java分片任务 登录 分布式任务调度平台。在顶部菜单栏选择地域。...
操作流程 步骤一：创建同步任务 步骤二：选择同步方案 步骤三：网络与资源配置 步骤四：同步任务配置 步骤五：启动同步任务 步骤一：创建同步任务 您可以通过以下两种方式创建同步任务：方式一：在同步任务页面，选择 来源 和 去向，单击 ...
本文介绍如何在RDS全球多活数据库集群中查看、管理节点以及双向同步的实例。前提条件 已创建全球多活数据库集群。操作步骤 访问 全球多活数据库集群 页面。...说明 您还可以在DTS控制台的 同步任务列表页，查看和管理双向同步实例。
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
IDaaS 拉取 说明 提示：部分操作可能会同时记录同步日志和管理或用户日志。任务执行【任务】是同步日志的集合。 理论上，当一次操作导致多条数据同步时，IDaaS 会将该批次同步结果聚合为【任务】，方便查看执行状态和结果。触发任务记录...
目标实例 RDS PostgreSQL 的创建方式和支持的版本，请参见 创建RDS PostgreSQL实例 和 同步方案概览。说明 建议源库和目标数据库的版本相同，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。...
目标实例 RDS PostgreSQL 的创建方式和支持的版本，请参见 创建RDS PostgreSQL实例 和 同步方案概览。说明 建议源库和目标数据库的版本相同，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。...
说明 如为增量同步任务，DTS要求源数据库的Redo Log和Archive Log保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Redo Log和Archive Log至少保留7天以上（您可在全量同步完成后将Redo Log和Archive Log保存时间设置为24...
如果同步的源实例为 PolarDB分布式版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
如果同步的源实例为 PolarDB-X 1.0，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。重要 更多功能规范和约束说明，请参见 源为PolarDB-X的功能规范和约束说明。推荐的任务配置方案，请参见 源为...
管理同步任务 监控任务性能 通过 全量同步性能和增量同步性能展示功能，您可以了解数据同步任务的运行状态，为您管理数据同步任务提供参考依据。修改同步对象 在数据同步过程中，您可以新增或移除同步对象。配置监控告警 您可以对重要的...
在 任务管理 面板的 容器资产同步 和 镜像资产同步 页签，查看资产同步进展、状态、详情等信息。集群管理 查看集群信息 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 ...
Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移...
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
如果同步的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意...
如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
选择调度该任务的专属集群 DTS专属集群是在某一地域由多台相同规格的ECS虚拟机组成的集群，用于管理和配置DTS迁移、同步和订阅任务。相比DTS共享集群，DTS专属集群具有资源独享、稳定性更好、性能更优和成本更低的特点。详情请参见 什么是...
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
运行与管理实时同步任务 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板 启动、暂停、下线 对应同步任务，详情请参见 实时同步任务运行与管理。说明 启动任务运行时，支持您设置同步位点和FailOver次数。位点设置：...
如果同步的源数据库类型为Redis，如自建Redis、云数据库Redis，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：...
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
TaskFailed（遇到冲突，任务报错退出）当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。Ignore（遇到冲突，直接使用目标实例中的冲突记录）当数据同步遇到冲突时，直接跳过当前同步语句，继续往...
标签管理 API 描述 TagResources 为一个或多个迁移、同步和订阅实例绑定标签。ListTagResources 查询迁移、同步和订阅实例绑定的标签，也可以查询标签所绑定的实例。UntagResources 为迁移、同步和订阅实例解绑标签。任务管理 API 描述 ...