通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。数据...
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
数据传输服务DTS（Data Transmission Service）的同步和迁移实例在进行数据传输的过程中，您可以根据源和目标库的读写压力情况调整迁移的速率，以降低数据库的负载。注意事项 若您有修改同步对象的操作，则修改同步对象后生成的子任务，...
若现有的迁移或同步实例的链路规格不能适应业务需求时，您可以考虑升级链路规格以提升传输数据的性能，确保实例的顺利执行并更好地支持不断增长的业务需求。前提条件 实例已进入 增量迁移 或 增量同步 阶段，且处于 运行中、已暂停 或 运行...
支持，DTS 当前已经对 VPC 网络的云数据库 MongoDB 作为迁移的源数据库提供支持。
从转发路由器到网络实例方向某一转发路由器可用区传输的数据包个数。单位：个。流出包速率 从转发路由器到网络实例方向总数据包速率。单位：pps。从转发路由器到网络实例方向某一转发路由器可用区数据包速率。单位：pps。没有路由产生的...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
在DataV-Board（数据看板）中使用PolarDB-X数据源之前，需要先将PolarDB-X数据源实例添加为DataV-Board的数据源。本文为您介绍如何添加PolarDB-X数据源。前提条件 添加数据库前请先参见 创建PolarDB-X实例，开通对应的数据库服务。说明 ...
数据传输服务DTS（Data Transmission Service）支持修改实例的部分参数，帮助您降低数据传输过程中的延迟，提升数据传输的性能和效率。前提条件 已创建同步或迁移实例，详情请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。注意...
重要 您必须先将对应区域的白名单IP地址添加到您的数据源白名单中，以确保DataV-Board能正常访问您的数据库。详情请参见 配置数据库白名单。使用限制 仅支持企业版及以上版本。添加实时数仓Hologres数据源 登录 DataV控制台。在 工作台 ...
公网流量 存储资源 常见问题 为什么没有传输数据的按量付费实例还在收费？按量付费的DTS实例在增量任务运行期间，将按照实际资源使用情况进行计费，与源端数据是否发生变更无关。建议您在完成数据传输后，尽快结束或释放实例。具体操作，请...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
重要 您必须先将对应区域的白名单IP地址添加到您的数据源白名单中，以确保DataV-Board能正常访问您的数据库。详情请参见 配置数据库白名单。使用限制 仅支持DataV企业版及以上版本。通过内网添加数据源 登录 DataV控制台。在 工作台 页面，...
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。DataWorks不推荐使用独享数据集成资源组 ...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
常用参数调优 同步HDFS Audit日志至HDFS 常见问题 Sqoop Sqoop是一个用于在Hadoop和关系型数据库之间高效传输数据的工具，支持大规模数据导入和导出操作。Sqoop使用说明 Sqoop常见问题 Kafka Kafka仅对存量用户开放。Kafka是一个开源的分布...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
在 数据传输 数据同步 页面，单击新购买的数据同步任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步任务名称 建议使用...
即数据集成仅支持传输能够抽象为逻辑二维表的数据，不支持同步OSS中存放完全非结构化的数据（例如一段MP3）。数据同步支持多种同步方式，如离线同步、实时同步、单表/整库全增量同步等，除此之外，还支持Serverless同步任务（Serverless...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群配置 产品版本：企业版，且系列为集群版。内核版本需为以下版本之一：...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 兼容模式 迁移 OceanBase 数据库 MySQL 兼容模式的数据至 MySQL 数据库 迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户 迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
概述 当您通过 专线/VPN网关/智能网关 的 接入方式 将具备专有网络VPC的数据库实例接入到DTS，并指定主备交换机时，DTS将会在连接该数据库实例时，自动为您指定的主备交换机挂载弹性网卡（每个弹性网卡会占用您交换机上1个IP），以创建VPC...
在 数据传输 数据同步 页面，单击新购买的数据同步任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步任务名称 建议使用...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移任务长期处于非活跃状态（任务状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，任务可能无法恢复。数据传输将主动...
在 数据传输 数据迁移 页面，单击新购买的数据迁移任务后的 配置。如果您需要引用已有的任务配置信息，可以单击 引用配置。详情请参见 引用数据迁移任务配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移任务名称 建议使用中文、...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
当DataWorks功能模块（如数据集成、数据服务、元数据采集、数据分析等）需要访问您的数据源时，部分数据源会通过白名单机制限制访问来源。为确保各功能模块的正常运行，您需要将对应模块的出口IP地址或网段加入数据源的白名单。背景信息 ...
采集方式介绍 在线采集：将源数据库的网络打通，并在源数据库白名单中添加ADAM服务器，确保ADAM服务器可以直接通过在线采集方式进行信息收集。更多信息，请参见 在线采集。有公网IP：源数据库具有公网IP，可以通过外网访问。无公网IP：通过...
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络VPC。操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备 数据...
数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口，用于接入三类核心数据源：业务系统数据库（如商品中心、交易中心、品牌库）。埋点数据。日志数据。选型理由：支持多种异构数据源，高兼容性与扩展性。提供可视化调度能力...