您可以在任务运行详情中切换到 运行信息 页签，查看任务同步速度：当同步速度很大时，说明Binlog增长速度快。当同步速度不大，您可以在MySQL服务端查看Binlog的统计指标和审计日志确认实际增长速率。但同步速度可能无法反映当前同步任务...
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
整库同步任务配置指导 操作流程请参见 整库离线同步任务、整库实时同步任务、整库全增量（准实时）任务。常见问题 读取MaxCompute（ODPS）表数据时，字段映射源表字段「添加一行」或「添加字段」注意事项 读取MaxCompute（ODPS）表数据时，...
六、高级参数配置 同步任务提供部分参数可供修改，您可以按需对该参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产。说明 请在完全了解对应参数含义的情况下再进行修改，以免产生不可预料...
六、高级参数配置 同步任务提供部分参数可供修改，您可以按需对该参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产。说明 请在完全了解对应参数含义的情况下再进行修改，以免产生不可预料...
六、高级参数配置 同步任务提供部分参数可供修改，您可以按需对该参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产。说明 请在完全了解对应参数含义的情况下再进行修改，以免产生不可预料...
后续：离线同步数据质量问题与同步任务调优 离线同步提速或限速 离线同步数据质量排查 离线同步日志分析 离线同步任务运维常见问题 如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？如何排查离线同步任务运行时间长的...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景：大数据离线同步到阿里...
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
DataWorks 实时 读oracle备库时，只支持物理备库，只会拉取归档日志因此延迟会比主库同步大，延迟取决于归档日志的生成速度。实时同步 不支持 视图表，离线同步 支持 读取视图表。DataWorks实时读Oracle是基于Oracle LogMiner日志分析工具...
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据 等页面，通过筛选条件过滤出需要查询的实例，进入...
支持的数据源 MySQL、Kafka、Oracle、HBase、MaxCompute、PolarDB-X 2.0、Tablestore 导入方式 数据源 导入方式 适用场景 MySQL 使用DataX同步MySQL数据 大规模离线数据迁移、定期数据同步 使用DTS同步MySQL数据 大规模数据迁移、实时数据...
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
反向同步 将OSS上的元数据同步回线下。适用于网关容灾和数据恢复/共享场景。说明 反向同步会扫描Bucket下的所有对象，如果对象数量较多，会产生 OSS API请求费用。Bucket名称 选择已创建的Bucket。子目录 输入Bucket下的子目录。子目录只...
在任务中心，当离线同步实例未成功运行时，您可以重跑离线同步实例，重新运行离线任务。本文主要介绍如何重跑离线同步实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
实现原理 DataWorks数据集成主要用于离线（批量）数据同步。离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
反向同步 将OSS上的元数据同步回线下。适用于网关容灾和数据恢复/共享场景。说明 反向同步会扫描Bucket下的所有对象，如果对象数量较多，会产生 OSS API请求费用。Bucket名称 选择已创建的Bucket。子目录 输入Bucket下的子目录。子目录只...
Synchronize mysql to hologres MigrationType string 否 同步类型，可选的枚举值有：FullAndRealtimeIncremental（全量和实时增量）RealtimeIncremental（实时增量）Full（全量）OfflineIncremental（离线增量）FullAndOfflineIncremental...
离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以列表的方式展示离线计算任务信息，并提供运维、下线、删除的功能。离线计算实例：支持离线计算...
离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以列表的方式展示离线计算任务信息，并提供运维、下线、删除的功能。离线计算实例：支持离线计算...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Kafka、LogHub、MySQL、PolarDB 配置指导：配置单表实时同步任务 整库离线 支持数据来源：...
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。...常见问题 为什么实时同步任务延迟较大？如何提高实时同步的速度和性能？
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 配置案例 MaxCompute单表离线同步至ClickHouse
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Kafka 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：...
数据集成侧同步任务配置 分库分表实时 支持数据来源：MySQL、PolarDB 配置指导：数据集成侧同步任务配置 Serverless整库实时 支持数据来源：MySQL 配置指导：Serverless同步任务配置 配置案例 OSS单表离线同步至MaxCompute EMR Hive单表离...
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库实时 支持数据来源：MySQL、PostgreSQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库实时同步至SelectDB
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Oracle 配置指导：数据集成侧同步任务配置 配置案例 Oracle单表实时同步至Tablestore
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库实时 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库实时同步至LogHub(SLS)
提供同步速率功能控制流量，避免同步速度过快对数据来源端或者数据去向端造成太大的压力。不限流的情况下则会提供现有硬件环境下最大的传输性能。任务运维 线上干预 支持重跑、补数据、置成功、冻结/解冻等线上干预操作。监控报警 支持配置...
核心能力 离线同步支持的能力如下图所示：能力 描述 异构数据源间的数据同步 数据集成目前支持50+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Hologres 配置指导：数据集成侧同步任务配置 整库实时 支持数据来源：MySQL、PostgreSQL 配置指导：...