为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群版本 数据库引擎：PostgreSQL 14 产品版本：企业版 高可用模式：单可用区...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群版本 数据库引擎：Oracle语法兼容 2.0 产品版本：企业版 高可用模式：单...
为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对...
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
全球数据库网络创建完成后，您可以创建新集群作为从集群添加到全球数据库网络中。业务结束后可按需将从集群移除出全球数据库网络，从集群移除后仍可作为独立的 PolarDB 集群使用。适用范围 您需先 创建一个全球数据库网络，才可进行为GDN中...
全球数据库网络创建完成后，您可以创建新集群作为从集群添加到全球数据库网络中。业务结束后可按需将从集群移除出全球数据库网络，从集群移除后仍可作为独立的 PolarDB 集群使用。适用范围 您需先 创建一个全球数据库网络，才可进行为GDN中...
参数 说明 自动解析字段 打开开关，组件使用CSV数据会自动解析字段并显示；关闭开关，字段不自动解析。仅数值型字段 打开开关，CSV数据只解析数据类型的字段；关闭开关，CSV数据会自动解析所有字段。数据系列：单击右侧的 或 图标，添加或...
解析器脚本：配置通过数据流转函数 writeDatahub(destinationId,data)将Topic数据转发到DataHub Project中的Topic。data 仅支持Map和Binary类型的数据。函数详细说明，请参见 函数列表。应用场景 将物联网平台数据写入DataHub进行统一管理...
域名转移对DNS解析记录的影响 场景 影响 域名使用的是 云解析DNS免费版 解析记录数据会直接跟随域名转移，不影响DNS解析。域名使用的是 云解析DNS付费版 对应的域名解析记录不会跟随域名被转移到目标账号，域名解析记录在原账号下不受影响...
步骤三：网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下...
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
数据备份与恢复 仅支持通过云数据库MongoDB工具（mongodump和mongorestore）备份与恢复数据库，具体请参见 使用MongoDB工具备份与恢复MongoDB Serverless版实例。数据安全性 仅支持设置白名单，设置方法请参见 设置白名单。不支持设置SSL...
数据容灾 为进一步满足业务场景中高可靠性和数据安全需求，云数据库MongoDB版提供了同城容灾 和异地容灾两种 解决方案。同城容灾：您可以在创建实例时选择多可用区，详情请参见 创建多可用区副本集实例 或 创建多可用区分片集群实例；您也...
背景信息 DataWorks各功能模块访问数据源的网络路径存在差异，因此，在数据源启用白名单控制时，需要进行针对性授权：资源组相关模块（如数据集成、数据服务）：此类模块依赖资源组的网络访问数据源，需将资源组的交换机网段或公网IP加入...
使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin网络打通的典型方案。典型方案介绍 Dataphin数据源网络上云包括以下两种典型方案。...
使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin网络打通的典型方案。典型方案介绍 Dataphin数据源网络上云包括以下两种典型方案。...
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地...
网络隔离 使用专有网络 云数据库MongoDB版支持多种网络类型，推荐使用专有网络。专有网络是一种隔离的网络环境，安全性和性能均高于传统的经典网络。专有网络需要事先创建，详情请参见 创建专有网络。当MongoDB实例为经典网络时，您可以将...
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
网络类型 数据校验任务使用的网络类型，固定为 专线。资源组 选择校验任务所属的资源组，相关介绍，请参见 什么是资源管理。购买量 链路数量 一次性购买数据校验任务的数量，默认为1，最大为99。单击 立即购买，根据提示完成支付流程。下...
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
数据库类型 默认为创建备份计划时的选择项。说明 当 数据库所在位置 参数为 云数据库MongoDB 时，本参数不显示。对端专有网络 选择专有网络。说明 该参数仅在 数据库所在位置 参数为 通过专线/VPN网关/智能网关接入的自建数据库 时显示。备...
上传数据至MaxCompute引擎：支持使用 Serverless资源组（推荐）、旧版资源组（独享调度资源组 或 独享数据集成资源组），且需确保数据上传任务使用的数据源与所选资源组网络连通。所选Serverless资源组和独享资源组需绑定至待接收数据的表...
不传：查询解析量不为 0 的数据 传小于 0 的值：查询所有数据 传 0：查询无解析量的数据 传大于 0 的值：查询解析量不超过该值的域名-1 StartDate string 是 开始时间，格式 yyyy-MM-dd，如:2023-03-01 2023-03-01 EndDate string 否 结束...
不传：查询解析量非 0 的数据 传小于 0 的值：查询所有数据 传 0：查询无解析量的数据 传大于 0 的值：查询解析量不超过该值的子域名-1 StartDate string 是 开始时间，格式 yyyy-MM-dd，如:2023-03-01。2023-03-29 EndDate string 否 结束...
通过创建Amazon RDS for SQL Server数据源能够实现Dataphin读取Amazon RDS for SQL Server的业务数据或向Amazon RDS for SQL Server写入数据。本文为您介绍如何创建Amazon RDS for SQL Server数据源。权限说明 仅支持具备 新建数据源权限点...
通过数据迁移服务MMS（MaxCompute Migration Service）迁移数据前，需新增并启动数据源，确保数据源与MMS服务网络连通，并将数据源的元数据同步至MMS服务，以便配置后续的迁移作业。迁移模式介绍 MaxCompute数据迁移到MaxCompute场景，迁移...
该功能利用AI技术辅助数据分析，帮助您解析复杂数据，并为业务决策提供支持。适用范围 权限说明：已拥有数据分析权限。支持的工作空间角色列表请参见 数据分析预设角色权限列表。角色授权操作请参见：添加空间成员并管理成员角色权限。地域...
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保 Serverless资源组（推荐）或 独享调度资源组 和MySQL数据库的网络已连通。详情请参见：网络连通方案。配置白名单 若MySQL数据库存在白名单访问控制，您需要将 ...
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 仅支持具备 新建数据源权限点...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用...
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传至OSS。但是这些数据缺少元数据管理，导致数据难以分析和计算。云原生数据仓库 AnalyticDB MySQL 版 元数据发现任务支持自动映射OSS路径、智能分组文件、动态探索...
针对DNS解析过程中以上两个问题，移动解析HTTPDNS 已经有了解决方案：使用 移动解析HTTPDNS SDK，但使用SDK会面临一些难题，比如302场景的IP直连处理、以及iOS上的SNI问题等，而iOS 14 上的 Encrypted DNS 功能很好的解决了集成SDK的方案...
数据同步速度的影响因素 数据同步速度受来源与目标端数据库环境及同步任务配置等因素影响，其中源端和目的端数据库的性能、负载和网络情况主要由您自己关注并进行调优。影响数据同步速度的因素如下：因素 说明 来源端数据源 数据库的性能：...
昨日解析请求量分析 昨日内网域名解析请求总量 昨日TOP域名解析请求量排名 昨日TOP专有网络解析请求量排名 解析请求量排名分析 支持对特定时间段、Zone名称的精确和模糊搜索查询，查询结果默认按照解析请求量从高到低排序，也可通过单击 ...