离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
独享数据集成资源组与数据源网络已打通。详情请参见：网络连通方案。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。配置同步...
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 云原生数据仓库 AnalyticDB MySQL 版...
全球数据库网络（Global Database Network）全球数据库网络（GDN）是由分布在全球不同地域的多个 PolarDB 数据库集群组成的一张网络。网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群...
上传数据至MaxCompute引擎：支持使用 Serverless资源组（推荐）、旧版资源组（独享调度资源组 或 独享数据集成资源组），且需确保数据上传任务使用的数据源与所选资源组网络连通。所选Serverless资源组和独享资源组需绑定至待接收数据的表...
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
网络连通方案 DataWorks资源组本质上为一组阿里云ECS实例，在运行数据集成、数据开发等任务时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。网络连通 公共资源组支持...
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
全球数据库网络（Global Database Network，简称GDN）是由分布于多个地域的多个 PolarDB 集群构成的网络。在本文介绍如何查看GDN的集群地址并连接GDN。读写分离与请求路由 GDN中的集群（主集群和从集群）读写请求路由，是由每个集群的 数据...
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 网络连通方案 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已开启白...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。二、查看表详情 在采集对应数据源完成后，需要通过搜索来查询已采集到的...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 网络...
说明 修改资源组前，请确保待切换的资源组与数据源网络已经连通，避免由于资源组与数据源网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心 周期任务 界面设置。勾选需要修改资源组...
地域级多活容灾 PolarDB MySQL版 与 PolarDB分布式版 支持全球数据库网络（Global Database Network，简称GDN），GDN是分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。GDN网络中所有集群的数据保持同步，网络中每个集群均提供...
步骤三：网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下...
在预检查阶段，系统会检查DTS...网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：116655009709），进行咨询。
方案六：公网数据源网络连通 管理数据源 在数据源管理页面，您可根据 数据源类型、数据源名称 筛选需要查看的数据源。同时，支持您对目标数据源执行如下管理操作：编辑、克隆与权限 编辑：可根据需要修改数据源的配置信息。数据源的名称及...
解决方案：解决目标端和 SelectDB 实例的网络问题，请参见 如何解决SelectDB实例与数据源网络互通问题？常见原因2：未将目标端的IP加入至 SelectDB 白名单。解决方案：获取目标端的IP地址，加入至 SelectDB 白名单。设置白名单，请参见 ...
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查，可能是DTS服务器与目标数据库网络互通问题。
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保 Serverless资源组（推荐）或 独享调度资源组 和MySQL数据库的网络已连通。详情请参见：网络连通方案。配置白名单 若MySQL数据库存在白名单访问控制，您需要将 ...
数据同步速度的影响因素 数据同步速度受来源与目标端数据库环境及同步任务配置等因素影响，其中源端和目的端数据库的性能、负载和网络情况主要由您自己关注并进行调优。影响数据同步速度的因素如下：因素 说明 来源端数据源 数据库的性能：...
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。...集群和其他数据库的网络配置请参见 在 E-MapReduce上使用 Sqoop工具与数据库同步数据进行网络配置。
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。本文示例新建名为 rds_workshop_...
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标集群。说明 如果您未创建...
通过创建Amazon RDS for SQL Server数据源能够实现Dataphin读取Amazon RDS for SQL Server的业务数据或向Amazon RDS for SQL Server写入数据。本文为您介绍如何创建Amazon RDS for SQL Server数据源。权限说明 仅支持具备 新建数据源权限点...
完成数据源、网络、资源的准备配置后，您可创建实时同步任务，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。准备...
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 仅支持具备 新建数据源权限点...
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
网络类型 经典网络 专有网络 设置数据订阅实例所属的网络类型。说明 如您的数据订阅客户端部署在本地，则可以任意选择 经典网络 和 专有网络。如您的数据订阅客户端部署在 ECS 实例上，则建议选择同ECS一致的网络类型。例如ECS是专有网络，...
您需要连通RDS或ECS实例与数据库审计系统之间的网络，即可将不同地域、不同VPC网络、不同账号中的服务器接入数据库审计系统进行审计。示例一，您在一个阿里云账号下有10多台服务器，分别在华北1（青岛）、华北2（北京）、华北3（张家口）三...
访问公网或VPC网络的MySQL数据源，请选择与MySQL数据源网络连通的调度资源组，作为周期调度任务使用的资源组。详情请参见 网络连通方案。保存并运行节点。在节点编辑页面的顶部菜单栏，单击 图标，保存节点配置。在节点编辑页面的顶部菜单...