如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表，创建可用的Hologres目标表，详情请参见 配置Hologres目标表。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？创建目标表时候，DataWorks只会保留...
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
编辑您新建的数据同步任务节点，其中数据源 WorkShop2023 是您的原始项目，数据源 odps_source 代表您当前的新建项目，表名是您需要同步数据的表 ods_user_info_d。完成后单击 调度配置。单击 使用工作空间根节点 后，提交数据同步任务。补...
编辑您新建的数据同步任务节点，其中数据源 WorkShop2023 是您的原始项目，数据源 odps_first 代表您当前的新建项目，表名是您需要同步数据的表 ods_user_info_d。完成后单击 调度配置。单击 使用工作空间根节点 后，提交数据同步任务。补...
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
数据同步任务开发 StarRocks数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，...
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
附录：查看实际并发 在数据同步任务的详情日志页面，查找形式为 JobContainer-Job set Channel-Number to 2 channels.的日志，此处的 channels 即为任务实际运行的并发度。附录：并发度和资源的占用关系 在独享资源组中，占用关系包括并发...
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
重要 如果不支持库表结构同步，在配置数据同步任务之前，您需要根据源库中待同步对象的结构定义，在目标库中创建数据库、数据表。全量数据同步 DTS将源库中待同步对象的存量数据，全部同步到目标库中，作为后续增量同步数据的基线数据。为...
数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列...
该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置...
订阅方案概览 2022年7月 类型 重点内容 相关文档 新增 支持创建跨境数据同步任务。申请跨境数据同步权限 新增 支持新增附加列功能。新增附加列 2022年6月 类型 重点内容 相关文档 新增 新增对泰国和韩国地域的支持。支持的地域列表 迁移、...
获取独享数据集成资源组EIP地址如下：数据同步任务开发：SelectDB同步流程指导 创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。下面对SelectDB数据源的几个配置项进行...
在 离线数据同步 管理页面，选择新增的全量离线数据同步任务，操作列中单击 上线。预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_全量”同步任务，在 操作 列中单击 监控，跳转至 运维监控 下的 离线同步实例 ...
使用该接口需注意：数据同步任务的源实例和目标实例的数据库类型均为 MySQL。数据同步任务的同步拓扑为 单向同步。数据同步任务的状态为 同步中。升级生效期间数据同步会出现5秒左右的延迟，请在业务低峰期操作。调试 您可以在OpenAPI ...
说明 如果是通过自定义资源组调度RDS的数据同步任务，必须把自定义资源组的机器IP也加入RDS的白名单中。如果您使用的是RDS MySQL数据库，请在RDS MySQL数据库中创建表 odps_result，建表语句如下所示。CREATE TABLE `ODPS_RESULT`(`...
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
操作步骤 说明 本文以数据同步任务为例进行说明。进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能会因DMS的模式和布局不同，而...
说明 清空数据同步任务配置后，原先的同步任务就会被释放，您需要调用接口 ConfigureSynchronizationJob重新配置同步任务，才能成功启动该任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
数据集成侧操作 登录 DataWorks控制台 后进入 工作空间列表 页面，在目标工作空间 操作 列单击 快速进入>数据集成，在 数据集成 页面创建数据同步任务，将其他数据源的数据同步至MaxCompute。详细操作指导请参见 数据集成侧同步任务配置。...
（可选）配置成功后，数据同步任务启动，单击 点击查看同步任务。管理RDS MySQL分析实例 您可以在 MySQL实时同步 页面查看同步任务的相关信息并进行管理操作。查看同步库表 在 查看同步配置 列单击 查看同步库表，查看同步库表信息。修改...
创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建与管理数据源。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式...
数据同步任务开发 数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请...
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
前提条件 已创建DTS专属集群任务，详情请参见 配置数据迁移任务、配置数据同步任务、配置数据订阅任务。预检查通过后正常运行中的任务（不包含 已完成 和 已暂停 状态），才可以进行修改DU操作。注意事项 修改DTS专属集群任务DU数后，专属...
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见...pls check.you need(at least one of)the SUPER,REPLICATION CLIENT privilege(s)for this operation 报错内容：数据同步任务执行时，实时任务运行失败，错误提示为 ...
创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享数据集成资源组为例，为您示例操作详情。新建Kafka数据源，并完成Kafka数据源...
创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享数据集成资源组为例，为您示例操作详情。新建Kafka数据源，并完成Kafka数据源...
数据同步任务开发 Memcache（OCS）数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据...
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
数据同步任务开发 GBase8a数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作...
数据同步任务开发 HybridDB for MySQL数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的...
在 离线数据同步 管理页面，选择新增的全量离线数据同步任务，操作列中单击 上线。预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_增量”同步任务，操作列中单击 监控，跳转至 运维监控，单击左侧导航栏中的 离线...
支持 数据同步任务开发 ClickHouse数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据...
背景信息 数据源是数据同步任务的基础，同时关系着企业云上数据的安全性。DataWorks支持您使用更高安全系数的 RAM角色授权模式 配置并访问OSS、AnalyticDB for MySQL 2.0、LogHub、Tablestore和Hologres等部分数据源，以提升云上数据的安全...
请求参数 名称 类型 是否必需 描述 RegionId String 是 实例所在 Region ID InstanceId String 是 实例 ID JobType String 是 删除数据任务类型;值为 DATA（数据）或 META（时间线）PageNumber Integer 是 分页页码 PageSize Integer 是 ...
双击 步骤3 中创建的节点，配置数据同步任务的 数据来源（Reader）、数据去向（Writer）、字段映射、通道控制 信息。数据来源（Reader）配置信息：配置项 说明 数据源 选择 SQLServer，系统将自动关联 配置SQLServer数据源 时设置的数据源...
查看全量数据同步任务 进入Shell访问环境，具体操作请参见 通过Lindorm Shell访问宽表引擎。执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据...
数据同步任务开发 Vertica数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作...