在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
TSM引擎提供数据高速读写和压缩等功能。简单高效的HTTP API写入和查询接口。针对时序数据，量身打造类似SQL的查询语言，轻松查询聚合数据。允许对tag建索引，实现快速有效的查询。数据保留策略（Retention policies）能够有效地使旧数据...
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
SQL变更规则 用数规范 支持配置数据使用规范，通过配置规则来规范数据的使用，例如数据导出规则、查询规则、执行规则等。规范策略 支持自定义配置各类型数据的管控规范策略。创建安全规则 安全规则DSL语法 功能规范 支持对DMS中所有功能...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
节点分组是某些拥有共同特性和数据出口的终端节点组合。凭证分配给节点分组后，分组内的节点可使用凭证接入网络。本文介绍创建节点分组、配置数据出口、添加节点入网和查看节点分组的上下行数据的全流程。背景信息 创建节点分组时，需要...
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
业务高速迭代，精准优化需求强烈：业务高速迭代给数据库开发和运维带来巨大压力，依赖DBA经验的优化手段难以跟上业务更新节奏。业务连续性要求高：随着客户基数日益增长，流利说对业务连续性的要求不断提高，线上异常的解决时间无法稳定。...
例如，在需要使用手机号码或用户ID进行分组的场景下，如果依旧使用典型的两步聚合方式，那么在局部聚合阶段，可以被聚合的数据较少，但是局部聚合流程依旧会执行（例如，计算分组的HASH值、去重以及执行聚合函数）。由于分组数多，局部聚合...
在该ECS实例的 实例详情 页面查看安全组ID和虚拟交换机ID，如下图所示：方法2：使用目标数据源已有的交换机ID和安全组ID 您可以在目标数据源的基础信息页面获取交换机ID和安全组ID，以E-MapReduce为例：当目标数据源的基础信息页面中不存在...
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
热点行更新操作所使用的SQL语句会用 autocommit 或者 commit_on_success 进行标记，优化后的MySQL内核层会自动识别带此类标记的更新操作，在一定的时间间隔内，将收集到的更新操作按照主键或者唯一键进行Hash，对于Hash到同一个桶中的更新...
示例一：分组监控时序数据 例如您将多个服务器的指标数据存储在一个时序库中，但希望每个服务器的CPU使用率（cpu_util）超过95%时，日志服务可以分开发送每个服务器的告警信息。针对此需求，您可以在创建告警监控规则时设置分组评估。具体...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
高速链路互联 数据库的计算节点和存储节点之间采用高速网络互联，并通过RDMA协议进行数据传输，使I/O性能不再成为瓶颈。共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大地降低了用户的存储成本。基于...
数据脱敏 数据进行对外交换供用户分析或使用时，未进行脱敏处理，导致敏感信息的意外泄漏。DSC 支持灵活多样的内置或自定义脱敏算法，可实现生产类敏感数据脱敏到开发、测试等非生产环境使用的场景，并确保脱敏后的数据保真可用。异常检测...
使用限制 支持项目管理员和开发用户角色的用户创建服务单元分组、Dataphin数据源分组。支持项目管理员、应用用户和运维用户角色的用户创建应用分组。服务项目分组入口 在Dataphin首页，单击顶部菜单栏 服务。按照下图指引，进入 分组管理 ...
高速链路互联 数据库的计算节点和存储节点之间采用高速网络互联，并通过RDMA协议进行数据传输，使I/O性能不再成为瓶颈。数据可靠性和一致性 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致...
SecurityIPList String 是 127.0.0.1,192.168.0.0 白名单分组里的IP列表，多个IP白名单间用英文逗号（,）分隔。ModifyMode String 是 1 白名单修改模式，取值范围如下：0：覆盖修改白名单分组；1：新增白名单分组；2：删除白名单分组。返回...
test1 Description string 否 高速上云服务分组的描述信息。cc5gg-test RegionId string 是 地域 id。cn-hangzhou ClientToken string 否 保证请求幂等性。从您的客户端生成一个参数值，确保不同请求间该参数值唯一。只支持 ASCII 字符，且...
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
同时使用高速通道接入时，DG会复用原有专线链路，相比于公网接入方式会有更强的网络质量。前提条件 您已经开通阿里云数据库网关服务，详情请参见 准备工作。您已配置高速通道/VPN网关/CEN。操作步骤 在新建数据网关时，勾选 使用已有专线/...
基本概念 聚合操作（Aggregate，简称Agg）表示按照GROUP BY指定列对输入数据进行聚合的计算，或者不分组对所有数据进行聚合的计算。PolarDB-X 支持以下聚合函数：COUNT SUM AVG MAX MIN BIT_OR BIT_XOR GROUP_CONCAT 本文介绍均为不下推的...
同时使用高速通道接入时，DG会复用原有专线链路，相比于公网接入方式会有更强的网络质量。前提条件 您已经开通阿里云数据库网关服务，详情请参见 准备工作。您已配置高速通道/VPN网关/CEN。操作步骤 在新建数据网关时，勾选 通过阿里云VPC...
本文介绍了使用一个分区或子分区与单表进行交换的方法。语法 ALTER TABLE.EXCHANGE PARTITION 命令用于将一个分区或子分区与单表进行交换，可以将一个与分区表的表结构相同的单表交换为分区表中的一个分区或子分区。语法如下：ALTER TABLE ...
后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目分组。当数据源类型为Hbase 0.9.4/1...
图表样式 垂直分组柱状图是柱状图的一种，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，支持根据数据类目自动分组展示，但在可视化应用中所占空间较大。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
图表样式 分组柱状图是柱状图的一种，支持根据数据类目自动分组展示，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，但在数据看板中所占空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
分组柱图是柱状图的一种，支持根据数据类目自动分组展示，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，但在可视化应用中所占空间较大。本文介绍分组柱图各配置项的含义。配置 重要 本文介绍v3.0以下版本的分组柱图的配置项，...
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
在多元索引统计聚合中表示获取统计聚合分组中的行，用于在对查询结果进行分组后获取每个分组内的一些行数据，可实现和MySQL中ANY_VALUE(field)类似的功能。请求数据结构 message TopRowsAggregation { optional int32 limit=1;optional ...
业务端数据存储量大，TB级数据存储诉求，且数据量持续高速增长。业务端数据有更新诉求，对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的分布式数据库架构承载数据获取端高并发写。通过 PolarDB-X+PolarDB承载大范围时间查询业务场景...
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
而以扫描数据和简单分组聚合操作为主的查询则会消耗较多的磁盘I/O资源。资源类型消耗量的不同会导致不同规格的集群存在不同的性能瓶颈，最终影响整体的查询效果。节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解...