数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
计算逻辑 根据是否计算等待红绿灯时间，将指标分为“等待红绿灯平均速度”和“不等待红绿灯平均速度”：路段等待红绿灯平均速度=路段长度/通行时间（含红绿灯等待时间）路段不等待红绿灯平均速度=路段长度/通行时间（不含红绿灯等待时间）...
实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击同步对象，在弹跳框中勾选所需同步的SQL操作。目标已存在...
操作步骤 进入目标地域的同步任务列表页面（二选一）。通过DTS控制台进入 登录 数据传输服务DTS控制台。在左侧导航栏，单击 数据同步。在页面左上角，选择同步实例所属地域。通过DMS控制台进入 说明 实际操作可能会因DMS的模式和布局不同，...
重要 同一个实例组内主角色和从角色的同步类型和同步范围必须保持一致。数据同步范围 单向同步：支持 整实例同步 或 指定库表。双向同步：默认为 指定库表。主角色 数据库账号 目前仅支持选择 高权限账号。主角色 密码 输入主角色高权限...
实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击同步对象，在弹跳框中勾选所需同步的SQL操作。目标已存在...
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，详情请参见 不...
相较于MySQL官方基于Binlog的半同步机制，PolarDB MySQL版 基于物理复制（Redo 流）的半同步机制具备更高的同步效率。在事务执行过程中，Redo日志的产生和同步链路就已经产生并实时传输到备可用区，因此，在事务提交时，仅需等待对应的这条...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MariaDB 默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步任务的数据库用户，并为其赋予...
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE、REPLACE DDL ALTER TABLE...
应用场景 AnalyticDB PostgreSQL版 可以通过数据集成的同步任务将数据同步到其他的数据源中（AnalyticDB PostgreSQL版 数据导出），并对数据进行相应的处理。可以通过数据集成的同步任务将处理好的其他数据源数据同步到 AnalyticDB ...
本章节介绍了2023年数据传输服务DTS（Data Transmission Service）产品功能和对应的文档动态。2023年12月 类型 重点内容 相关文档 新增 新增支持将MongoDB（副本集架构或分片集群架构）的数据同步到Lindorm（宽表引擎），以帮助您的应用...
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：若源实例为自建MariaDB，则需开启Binlog，并且设置binlog_row_image为full，否则预检查阶段提示报错，且...
实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击同步对象，在弹跳框中勾选所需同步的SQL操作。SQLServer...
本文档旨在指导您如何通过SCIM（System for Cross-domain Identity Management）协议将 Microsoft Entra ID（原 Azure Active Directory）中的用户同步到IDaaS（Identity as a Service）平台。通过SCIM同步，您可以实现用户的自动化管理，...
若需要配置非整库的同步任务，则该任务中同步至同一个目标库的同步对象，不支持配置Schema名称不同而表名称相同的对象。DTS是用fn_log函数获取源库日志，而该函数有一定的性能瓶颈，请不要过早清理源库日志，否则可能会导致任务失败。数据...
DataWorks的离线同步节点提供读取（Reader）和写入（Writer）插件，简化了从源数据库到目标数据库的数据迁移过程。您可以在可视化界面配置数据源与目标源，结合DataWorks的调度能力，实现全量或增量数据同步。本文将以MaxCompute作为源数据...
说明 操作调用的事件对增量同步和全量同步均生效。全量推送范围 当进行一键推送（即全量同步）时，只会推送该应用同步范围内的、全量推送范围所选数据类型的数据到下游应用。例如只推送账户数据。说明 全量推送范围仅对全量同步生效，增量...
已选择对象 如需设置待同步对象在目标实例中的名称，或指定目标实例中接收数据的对象，请右击 已选择对象 中的同步对象进行修改。设置方式，请参见 库表列名映射。如需移除已选择的同步对象，请在 已选择对象 框中单击待同步的对象，然后...
您可以通过DTS将MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）或PostgreSQL数据库（例如自建PostgreSQL、RDS PostgreSQL和PolarDB PostgreSQL），迁移或同步至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级...
自定义流水线 创建 自定义流水线支持通过以下两种创建方式：方式一：新建自定义流水线 在 流水线管理 页面的 自定义流水线 页签，单击 新增自定义流水线。在 新增自定义流水线 面板，完成 流水线名称 和 流水线源（支持 代码 和 镜像）设置...
实例级别选择所需同步的DDL和DML 按实例级别选择同步的DDL或DML操作，支持的同步操作，请参见 支持同步的SQL操作。说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击同步对象，在弹跳框中勾选所需同步的SQL操作。目标已存在...
查看用户和组织同步结果 在开启用户和组织同步的情况下，打开 LDAP 集成详情页面，可以查看最新同步结果：未执行同步、同步成功、同步失败、部分同步成功。修改 LDAP 集成的功能服务 在 LDAP 集成详情页面，如果开启了某个功能服务，可以...
适用版本 专属版 创建范围外用户 企业管理员可以在 企业管理 第三方集成 中添加和管理 API 同步，请确保 API 按照此文档中的规范提供，通义灵码 会按照配置的 URL 执行企业组织架构和用户的同步，可以勾选 支持内建用户，可以创建同步范围...
若需要配置非整库的同步任务，则该任务中同步至同一个目标库的同步对象，不支持配置Schema名称不同而表名称相同的对象。DTS是用fn_log函数获取源库日志，而该函数有一定的性能瓶颈，请不要过早清理源库日志，否则可能会导致任务失败。数据...
Tair（企业版）实例的默认同步模式为异步，若业务场景对数据持久化要求较高，您可以在控制台将其同步模式修改为半同步。该模式会增加写的延迟，大约为百微秒（us）~数毫秒（ms），适用于对数据一致性要求高，可以接受牺牲写性能的场景。...
否则，在正向任务进行 库表结构同步 和 全量同步 阶段时，系统将自动移除反向任务中已配置的同步对象，从而将导致 双向同步 任务的结果不符合预期。使用限制 配置前，请确认环境和业务场景满足以下条件。通用限制 限制项 说明 网络配置 源...
AnalyticDB PostgreSQL版间的同步 AnalyticDB PostgreSQL版间的迁移 新功能 新增支持敏感数据扫描与脱敏功能，协助您对敏感字段的值进行脱敏处理，以防止敏感数据的泄露。敏感数据扫描与脱敏 2025年08月 类型 重点内容 相关文档 优化 MySQL...
RDS SQL Server间的同步 Teradata结构和全量迁移至云原生数据仓库AnalyticDB PostgreSQL版（新版控制台）。说明 目前仅支持在上海、青岛、张家口地域配置。Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL 版 新版控制台支持配置数据...
数据覆盖风险：为避免自动恢复导致目标库数据被意外覆盖，请在业务正式切换到目标库后，及时停止或释放不再需要的同步任务。支持的同步SQL INSERT、UPDATE、DELETE。支持同步的对象 基础对象：SCHEMA、TABLE 说明 包含 PRIMARY KEY、UNIQUE...
本文介绍如何为身份提供方绑定入方向的企业 OpenLDAP，实现 OpenLDAP 组织/账户同步到 IDaaS、使用 OpenLDAP 身份登录 IDaaS 或应用。OpenLDAP基础介绍 OpenLDAP是LDAP（轻型目录访问协议）的开源实现，常用于管理企业内的用户、计算机、...
无效的同步组名称，同步组名称长度限制为1~128个字符，可以包含大小写字母，中文，数字，“.”，“_”或“-”，同时必须以大小写字母或者中文开头。400 DescriptionOverLimit The length of the specified gateway description exceeds the...
查看用户和组织同步结果 在开启 用户和组织同步 后，打开飞书集成详情页面，可以查看最新同步结果：未执行同步、同步成功、同步失败、部分同步成功。修改/关闭飞书集成的功能服务 在飞书集成详情页中，如果开启了某个功能服务，可以看到 ...
例如，有n个文件，作业速率上限最多设置为n MB/s：如果设置n+1 MB/s，还是以n MB/s速度同步。如果设置为n-1 MB/s，则以n-1 MB/s速度同步。关系型数据库设置作业速率上限和切分键后，才能根据作业速率上限将表进行切分。关系型数据库通常只...
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。...如何提高实时同步的速度和性能？
手动触发同步 定时自动同步（可配置同步频率）增量同步：实时监听钉钉通讯录变更事件，自动将变动数据同步至IDaaS，确保数据实时性。登录集成 统一认证：支持使用钉钉扫码登录 直接登录IDaaS平台 登录IDaaS集成的各类应用系统 配置步骤 ...
目前支持的同步类型：MySQL-Hologres整库实时 MySQL-MaxCompute整库实时 MySQL-StarRocks整库实时 目前只支持当前地域当前主账户拥有的数据源。使用说明 Serverless同步任务无资源组的概念，您只需关注同步业务本身。Serverless同步任务...