当存在数据更新时，建议在历史数据迁移结束后，再启动增量数据迁移，避免通过增量数据迁移写入的新版本数据被历史数据迁移写入的老版本数据覆盖。历史数据迁移脚本 示例如下：#!bin/bash#历史数据全量迁移脚本#wait_for_completion可以修改...
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保 Serverless资源组（推荐）或 独享调度资源组 和MySQL数据库的网络已连通。详情请参见：网络连通方案。配置白名单 若MySQL数据库存在白名单访问控制，您需要将 ...
本示例基于一份关键数据字段为 category 产品类别和 quantity 销售量的零售店数据集，用柱状图展示不同产品类别的销售情况。创建选中 柱状图 组件，进入 数据源 面板，单击 数据映射 查看柱图默认自带数据和适配结构。观察数据结构，柱图...
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
本文介绍如何开通 全球数据库网络（Global Database Network，简称GDN）服务的操作步骤。创建全球数据库网络 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，单击 PolarDB-X 2.0 页签。找到目标实例，...
您需要连通RDS或ECS实例与数据库审计系统之间的网络，即可将不同地域、不同VPC网络、不同账号中的服务器接入数据库审计系统进行审计。示例一，您在一个阿里云账号下有10多台服务器，分别在华北1（青岛）、华北2（北京）、华北3（张家口）三...
上传数据至MaxCompute引擎：支持使用 Serverless资源组（推荐）、旧版资源组（独享调度资源组 或 独享数据集成资源组），且需确保数据上传任务使用的数据源与所选资源组网络连通。所选Serverless资源组和独享资源组需绑定至待接收数据的表...
数据灾备 网络包 抵扣对象 说明 跨地域备份网络用量 数据灾备 网络包当前全球地域通用，您可在购买后用于抵扣不同地域的 RDS MySQL、RDS PostgreSQL、RDS SQL Server、PolarDB MySQL版、PolarDB PostgreSQL版 和 MongoDB 跨地域备份网络...
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 网络...
全球数据库网络创建完成后，您可以创建新集群作为从集群添加到全球数据库网络中。业务结束后可按需将从集群移除出全球数据库网络，从集群移除后仍可作为独立的 PolarDB 集群使用。适用范围 您需先 创建全球数据库网络，才可进行为GDN中添加...
重要 配置数据库所在的VPC信息（网络和安全组），保证网络连接正常后：VPC下的云服务器ECS才能连通数据库审计系统。才能通过云助手在对应VPC下的ECS中安装Agent。手动安装Agent时需要用到此处配置的VPC信息。管理数据库资产：添加要审计的...
访问公网或VPC网络的MySQL数据源，请选择与MySQL数据源网络连通的调度资源组，作为周期调度任务使用的资源组。详情请参见 网络连通方案。保存并运行节点。在节点编辑页面的顶部菜单栏，单击 图标，保存节点配置。在节点编辑页面的顶部菜单...
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
对于全球化部署的业务，异地用户访问中心数据库会因网络延迟导致应用响应缓慢。通过在各地域的全球数据库网络（GDN）集群上开启Orca功能，可将数据以Key-Value（兼容Redis协议）存储在靠近用户的集群中，实现就近读取。此方案可降低读取...
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用...
基本信息 基本信息 值*数仓分层 公共层-维度层 业务分类 零售*数据域 商品域 存储策略 每日全量（df）维度 商品（sku）表名规则-（在“数仓规划-数仓分层”单击具体分层，可以为每个层级配置强/弱表名检查器，新建表模型时可以选择对应的...
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。本文示例新建名为 rds_workshop_...
本文档介绍了全球数据库网络（GDN）的常见问题。GDN主从数据路由的逻辑是什么？GDN中的集群（主集群和从集群）读写请求路由，是由每个集群的 数据库代理配置 所决定。您的应用程序无需修改代码，只需连接到相应集群的地址，读写请求便会按...
全球数据库网络（Global Database Network）全球数据库网络（GDN）是由分布在全球不同地域的多个 PolarDB 数据库集群组成的一张网络。网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
全密态 PolarDB 提供全密态数据库，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触到用户的明文数据，避免云端数据发生泄漏，且能够防止研发运维窃取数据、无惧数据库账号泄露。以 PolarDB MySQL版 为例，请参考 全...
数据同步速度的影响因素 数据同步速度受来源与目标端数据库环境及同步任务配置等因素影响，其中源端和目的端数据库的性能、负载和网络情况主要由您自己关注并进行调优。影响数据同步速度的因素如下：因素 说明 来源端数据源 数据库的性能：...
解决方案：解决目标端和 SelectDB 实例的网络问题，请参见 如何解决SelectDB实例与数据源网络互通问题？常见原因2：未将目标端的IP加入至 SelectDB 白名单。解决方案：获取目标端的IP地址，加入至 SelectDB 白名单。设置白名单，请参见 ...
代码来源 采集口径 触发采集方式 数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据...
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 云原生数据仓库 AnalyticDB MySQL 版...
独享数据集成资源组与数据源网络已打通。详情请参见：网络连通方案。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。配置同步...
CheckHadoopNetConnection 检测hadoop外部数据源网络联通性 检测hadoop外部数据源网络联通性。JDBC数据源 JDBC数据源 CreateJDBCDataSource 创建JDBC数据源 创建JDBC数据源。ModifyJDBCDataSource 修改JDBC数据源配置 修改JDBC数据源配置。...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
全球数据库网络（Global Database Network，简称GDN）是由分布于多个地域的多个 PolarDB 集群构成的网络。在本文介绍如何查看GDN的集群地址并连接GDN。读写分离与请求路由 GDN中的集群（主集群和从集群）读写请求路由，是由每个集群的 数据...
完成数据源、网络、资源的准备配置后，您可创建实时同步任务，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。准备...
不支持 全球数据库（GDN）全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群处理...
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查，可能是DTS服务器与目标数据库网络互通问题。
说明 修改资源组前，请确保待切换的资源组与数据源网络已经连通，避免由于资源组与数据源网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心 周期任务 界面设置。勾选需要修改资源组...
在预检查阶段，系统会检查DTS...网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：116655009709），进行咨询。
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...