Q：使用DTS（数据传输服务）同步数据到 云原生数据仓库 AnalyticDB PostgreSQL 版 实例时，全量数据同步任务结束后是否会自动转为增量数据同步任务？A：如果您的任务为数据同步任务，在全量数据同步任务结束后会自动开始同步增量数据。如果...
本文介绍数据同步过程中遇到的常见问题及解决方法。控制台上数据同步任务执行失败且提示“LIST_SNAPSHOTS_FAILED”，该如何解决？问题现象 控制台上数据同步任务执行失败且提示“LIST_SNAPSHOTS_FAILED”。问题原因 由于已知的 glibc 问题...
云原生数据仓库 AnalyticDB MySQL 版 支持数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的 数据入仓。本文主要介绍添加Kafka数据源、新建Kafka同步链路并启动...
云原生数据仓库 AnalyticDB MySQL 版 提供数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建SLS同步链路，从指定时间位点将日志服务LogStore中的数据实时同步至 云原生数据仓库 AnalyticDB MySQL 版 集群，以满足近实时产出、全...
本文为您介绍数据同步方面的常见问题。同步Kafka JSON数据到Hologres，作业运行过程中JSON Schema发生改变，如何解决？报错：Encountered change event for table xxx.xxx whose schema isn't known to this connector 报错：Currently ...
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。本文介绍DTS支持的同步拓扑类型和使用说明。单向同步 在单向同步的拓扑中，为保障同步数据的一致性，对目标实例中的同步对象应只进行读操作，请勿进行写操作。拓扑类型...
在左侧导航栏，选择 同步 数据同步。在顶部菜单栏左上角，选择所在地域。在 数据同步 页面，单击 查看客户端，然后单击 添加客户端。执行命令自动激活Linux客户端。根据您的网络选择公网、VPN或者专线访问，复制代码后，在客户端上执行标签...
本文档介绍通过 IDaaS 进行数据同步、打通上下游数据的用法。IDaaS 既可以作为下游，将上游的账户数据（如钉钉、AD）同步到 IDaaS，也可以作为上游，将 IDaaS 中的账户数据同步到各类应用（如阿里云、自研业务系统）。 IDaaS将同步分为两...
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
本文介绍如何使用RDS MySQL控制台中的数据同步功能，通过内部集成的数据传输服务（DTS）实现多种实例间的数据同步链路。前提条件 已创建RDS MySQL实例。如未创建，请参见 快速创建RDS MySQL实例。若您的MySQL数据库部署在本地或其他云上，...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何新增离线数据同步。前提条件 已存在...
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：HBase1.x升级HBase2.x。跨地域迁移：例如从青岛机房迁移到北京机房。跨账号迁移：支持不同账号迁移数据。集群升配...
DataWorks的数据同步至MaxCompute节点支持将Hologres中的单表数据迁移到MaxCompute，帮助您高效存储大数据。本文将详细介绍配置流程，让您轻松迁移数据并充分利用MaxCompute的高性能处理能力。前提条件 已 创建MaxCompute项目 和 Hologres...
DataWorks的数据同步节点支持将MaxCompute中的单表数据同步到Hologres，帮助您更高效地进行大数据分析和实时查询。本文将详细介绍配置流程，让您轻松迁移数据并充分利用Hologres的高性能查询能力。背景信息 在使用此功能将MaxCompute的内部...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
数据同步使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据同步的操作，您需要经历如下步骤。操作流程 说明 准备工作 在使用DTS执行数据同步前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。...
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步任务。背景信息 目前数据同步任务仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步任务后，再对任务进行具体配置和管理。数据同步任务...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS PostgreSQL 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版 实例中。前提条件 已创建存储空间大于源 RDS PostgreSQL 实例已占用存储空间的目标 ...
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
本文为您介绍如何结束数据同步任务。...后续操作 对于不再需要维护源端和目标端的已结束的数据同步任务，您可以通过提交阿里云工单的方式，提交包年包月相关任务的退订申请。退订申请通过后，系统将完成退费及任务的释放和删除。
本文介绍数据同步各链路规格的说明。注意事项 该性能规格参考的是测试数据，不作为产品SLA的评判标准。使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS...
数据同步是 mPaaS 平台的一个核心基础服务组件。数据同步源自蚂蚁集团内面向移动应用、从服务端到客户端进行海量数据推送的全链路解决方案—SYNC。该组件提供了一个安全的基于传输控制协议（Transmission Control Protocol，简称 TCP）和...
添加并开启云产品数据源同步任务后，您可查看对应同步任务的详细信息，包括同步状态、数据同步存储表、同步任务运行信息等。您也可根据需要在数据同步存储表中新增字段。本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步...
背景信息 DataStudio支持 一键MaxCompute数据同步 功能，您可以使用可视化方式导入MaxCompute表数据并进行查询。该方式比创建外部表直接查询数据的性能更好。您也可以使用SQL语句导入MaxCompute数据，详情请参见 使用SQL从MaxCompute导入。...
启动数据同步任务后，您可以在数据同步任务的详情页面查看相应任务的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。单击目标数据同步任务的名称，进入详情页面，...
概述 本文主要介绍如何查看阿里云云数据库HBase数据同步的BDS监控数据。详细信息 请执行以下操作，查看HBase数据同步的BDS监控数据：登录 HBase控制台，在页面左上角，选择实例所属的地域。单击目标实例ID，在左侧导航栏单击 监控与报警。...
启动数据同步任务 创建数据同步任务时，如果在预检查完成后仅保存该数据同步任务，未进行启动，则需要在同步任务列表中手动启动数据同步任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 同步任务列表 页面，...
DataWorks提供了一键MaxCompute数据同步节点功能，帮助您快速完成从MaxCompute到Hologres数据库的数据同步，可以实现对MaxCompute表数据的高效查询。本文将详细介绍如何使用一键MaxCompute数据同步节点。背景信息 您可以通过SQL语句直接将...
云原生数据仓库 AnalyticDB MySQL 版 提供数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
本文为您介绍如何修改数据同步任务的名称。使用限制 数据传输支持修改处于 未启动、运行中、已暂停 和 失败 状态的任务的名称。数据同步任务运行过程中创建的修改同步对象子任务不支持编辑任务名称。修改同步对象的详情请参见 查看和修改...
前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步任务的数据库用户，并为其赋予了相关权限。详情请参见 创建数据库用户。操作...
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
创建数据同步任务后，您可以通过标签功能实现对数据同步任务的管理，快速筛选目标任务。本文为您介绍数据传输如何通过标签功能实现对数据同步任务的管理。使用限制 每个数据同步任务最多支持添加 4 个标签。所有数据同步任务的标签总数不得...
数据同步支持重新配置同步作业，如果您需要修改同步作业的源实例，那么可以使用 重新配置任务 功能，重新配置同步作业。
数据同步服务支持查询数据同步操作记录，包括新建配置、修改配置、删除配置、新建同步、上线配置、下线配置、开启签名、关闭签名的变更操作历史，以便进行操作溯源以及使用数据分析。查询操作历史记录的步骤如下：登录 mPaaS 控制台，进入...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...