RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全增量同步 完成配置。HBase迁移至HBase增强...
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
启动数据同步项目 创建数据同步项目时，如果在预检查完成后仅保存该数据同步项目，未进行启动，则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，...
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
本文为您介绍如何引用和清空已有数据同步项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据同步项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 数据同步 页面，单击未配置的目标...
本文为您介绍配置数据迁移或数据同步项目时，如何自定义配置增量同步中的 DDL 和 DML 同步。背景信息 您在配置数据迁移或数据同步项目时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义...
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
如果同步的源数据库类型为PostgreSQL，如RDS PostgreSQL、自建PostgreSQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意...
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步项目。背景信息 目前数据同步项目仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步项目后，再对项目进行具体配置和管理。数据同步项目...
适用场景 文档链接 MySQL间数据同步 MySQL实例间的双向同步 RDS MySQL实例间的单向同步 从ECS上的自建MySQL同步至RDS 从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至RDS 不同阿里云账号下RDS实例间的数据同步 从RDS MySQL同步至...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
本文为您介绍如何修改数据同步项目的名称。使用限制 数据传输支持处于 未启动、运行中、已暂停 和 失败 状态的项目修改项目名称。数据同步项目运行过程中创建的修改同步对象子项目不支持编辑项目名称。修改同步对象的详情请参见 查看和修改...
本文为您介绍创建数据迁移或数据同步项目时，增量同步位点的使用限制、适用场景和操作步骤。使用限制 您在创建数据迁移或数据同步项目时，迁移/同步类型选择了 增量同步，并且未选择 全量迁移/全量同步，才会支持设置增量同步位点。设置...
理论上，当一次操作导致多条数据同步时，IDaaS 会将该批次同步结果聚合为【任务】，方便查看执行状态和结果。触发任务记录的事件 触发模块 记录任务的情况 只有日志的情况 身份提供方 IdP 从 IdP 批量导入（定时/手动）一次性全量同步到...
例如，增量与全量数据同步，单表及分库分表数据同步。详情请参见 离线同步能力说明。支持实时数据同步。例如，单表实时数据同步、整库实时数据同步。详情请参见 实时同步能力说明。提供一系列同步解决方案。例如，整库离线数据同步，单表或...
本文为您介绍如何结束数据同步项目。使用限制 数据传输支持结束处于 已暂停、失败 和 已完成 状态的数据同步项目。操作步骤 项目结束后，仍保留当前项目的配置信息，您可以根据需要选择清空项目配置后重新配置。详情请参见 清空项目配置。...
调用DescribeSynchronizationJobStatusList查询一个或多个数据同步实例同步状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否...
数据同步支持获取、更新当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。本文介绍如何在数据同步中获取物理表。前提条件 已准备好相应的数据源，具体操作，请参见 新建数据源。操作步骤 登录 数据资源平台控制...
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
数据同步支持获取、更新当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。本文介绍如何在数据同步中获取物理表。前提条件 已准备好相应的数据源，具体操作，请参见 新建数据源。操作步骤 登录企业数据智能平台...
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
名词 说明 预检查 为保障数据迁移任务/数据同步作业/数据订阅通道的顺利执行，在正式启动前，系统将执行预检查操作。例如，检查源库和目标库的连通性、数据库账号权限、Binlog设置、数据库版本号等是否满足要求，详情请参见 预检查相关介绍...
操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标对象，单击显示的 设置。在 设置 对话框的 选择列 ...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
前提条件 您已创建数据迁移任务、数据同步作业或新版数据订阅通道。说明 旧版数据订阅通道不支持该操作。您可以在 数据订阅列表 页中查看目标订阅通道是否属于新版。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据...
数据同步支持重新配置同步作业，如果您需要修改同步作业的源实例，那么可以使用 重新配置任务 功能，重新配置同步作业。
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。前提条件 已根据快速入门教程...
流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。...
测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后，可以在 运维中心>周期实例 页面右键查看用户任务运行时间，如下图所示。记录占用存储大小 登录 DataWorks控制...
DTS在将数据同步到DataHub或MaxCompute时，会在同步的目标表添加一些附加列，用于元数据管理、排序去重等。如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败，为避免出现此类问题，您可以修改同步附加列的命名规则。背景信息...