问题描述：线下IDC服务器网络和数据库审计所在VPC网络已连通，但在线下IDC服务器安装Agent后连接状态异常，无法进行流量采集审计。问题原因：数据库审计Agent配置文件 agent.ini 内默认配置连接的数据库审计地址 serviceIp 是域名形式，但...
复杂网络环境下的数据同步 离线同步支持阿里云云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。配置前需确保资源组与源端/目的端的 网络连通性，配置详情请参见：网络连通方案。同步场景 1.支持的同步模式 周期性全...
本文以EMR Hive单表离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络连通、同步任务配置方面的最佳实践。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储...
本文以OSS单表离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络连通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
本文以MaxCompute单表离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据...
说明 在离线同步任务产出表配置数据质量规则的情况下，请注意任务所使用的调度资源组与目标数据源的网络问题。查看离线任务运行日志 进入运维中心，待周期实例、补数据实例、测试实例执行完成后，您可以在实例DAG面板查看任务 运行日志。...
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
复杂网络环境下的数据同步-离线同步支持阿里云云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。配置前需确保资源组与源端/目的端的网络连通性，配置详情请参见：网络连通。同步场景 全量同步 支持一次性或周期性的全...
问题分类 问题关键字 相关文档 离线同步任务运维常见问题 网络通信问题 为什么数据源测试连通性成功，但是离线同步任务执行报错数据源连接失败？切换资源组 如何切换离线同步任务的执行资源组？脏数据 脏数据如何排查和定位？如何查看脏...
当基础折线图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
当基础折线图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
客户端（odpscmd）或Studio DataWorks数据下载 MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成...
否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与MariaDB的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 256 updateColumn 当 writeMode 配置成 update 时，发生...
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
当雷达图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
当雷达图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
当基础区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
当堆叠区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
ListDIJobs 获取数据集成同步任务配置列表 查询数据集成新版任务列表，包括整库同步实时任务，整库同步离线任务，单表同步实时任务等数据集成任务。ListDIJobRunDetails 获取数据集成同步任务运行的执行进展 获取数据集成运行信息。...
数据库审计本身的审计能力是支持的，只需打通线下线上的网络连接即可。您可以通过阿里云高速通道打通线下线上的网络连接，参见 连接本地IDC。数据库审计C100目前支持哪些规格？数据库审计C100支持以下规格。专业版3实例 高级版5实例 高级...
MaxCompute支持通过DataWorks的 数据集成功能 以离线或实时方式导入其他数据源的数据，也支持导入部分类型的本地文件数据。本文介绍如何使用DataWorks将数据导入MaxCompute的。操作步骤 已 创建MaxCompute项目 和 创建表。用于存储后续同步...
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群版本 数据库引擎：PostgreSQL 14 产品版本：企业版 高可用模式：单可用区...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群版本 数据库引擎：Oracle语法兼容 2.0 产品版本：企业版 高可用模式：单...
说明 任务整体同步速度除受到上述配置影响外，还受源端数据源性能，同步网络环境等多方面影响，关于同步速率说明与调优，详情请参见 离线同步提速或限速。步骤六：配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性...
当需要实现更精细化的离线任务配置时，可以使用 脚本模式，通过编写数据同步的JSON脚本并结合DataWorks调度参数，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务的常见配置，各数据源...
云数据库 SelectDB 版 支持多样化的数据导入方式，涵盖原生接口与生态工具，满足从实时流数据到离线批处理的多场景需求。本文为您介绍数据导入到 SelectDB 的核心接口与工具。导入选型建议 阿里云生态源数据：DTS、DataWorks 非阿里云生态...
您可以使用已有集群或新购集群快速创建全球数据库网络，满足数据跨地域灾备或异地多活（多地部署）需求。本文主要介绍如何创建与删除全球数据库网络。适用范围 集群配置 产品版本：企业版，且系列为集群版。内核版本需为以下版本之一：...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
全球数据库网络创建完成后，您可以创建新集群作为从集群添加到全球数据库网络中。业务结束后可按需将从集群移除出全球数据库网络，从集群移除后仍可作为独立的 PolarDB 集群使用。适用范围 您需先 创建一个全球数据库网络，才可进行为GDN中...
全球数据库网络创建完成后，您可以创建新集群作为从集群添加到全球数据库网络中。业务结束后可按需将从集群移除出全球数据库网络，从集群移除后仍可作为独立的 PolarDB 集群使用。适用范围 您需先 创建一个全球数据库网络，才可进行为GDN中...
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
网络打通：对第三方云平台和线下IDC的数据库进行审计，需要先打通第三方云平台或线下IDC与VPC专有网络的连接，您可以采用VPN网关、高速通道、云企业网等多种方式打通网络。接入数据安全中心：把第三方云平台及线下IDC的数据库资产作为自建...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...