ListDags 获取单次补数据的所有Dag详情 根据OpSeq（补数据唯一标识）获取单次补数据的所有Dag详情。ListNodesByOutput 根据节点的输出结果精确查询目标节点 根据节点的输出结果精确查询目标节点。RunTriggerNode 运行一个触发式节点 调用...
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
调用GetDataServiceApplication查询数据服务App的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
冷数据的判定标准如下：当前时间-数据的时间戳=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
接口说明 本接口一般用于敏感数据保护概览页面各资产类型数据的查询。注意事项 此接口已废弃，不再维护。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将会被限流，这可能影响您的业务，请合理调用。调试 您可以在Open...
本文介绍如何通过减少单次查询数据点来提升查询效率。...起始时间和结束时间最好对齐小时自然边界，避免额外数据的查询。查询的 RT 和需要聚合的数据有关，数据越多，耗时越长。查询操作无法取消，请谨慎选择查询时间范围和查询的 Tag 条件。
前提条件 若您需下载即席查询的结果数据，在您开始执行操作前，请确认您已开启项目下载数据的权限，并已开启当前项目的下载（完整数据下载和样例数据下载）。具体操作，请参见 添加项目成员、数据下载配置。使用限制 未购买查询加速时，...
提升查询性能 方法 适用场景 描述 区别 使用预聚合提升查询性能 大量时间线实时聚合查询 预聚合通过使用Lindorm时序引擎提供的 数据的持续查询 功能，提前将需要查询的结果进行计算后转存到结果表，查询时指定查询结果表，即可快速查询结果...
背景信息 时序数据的模型请参见 如何设计时序数据表，数据是按照时间序列来进行组织的。所以在时序数据表中，所有标记 TAG 的列（标签列）会被建立为索引列，来表示每一条数据具体所属于哪个时间序列，从而显示数据的来源。以时序数据表为...
DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景，属于固定场景，不支持执行新增、编辑、删除等操作。同时，...
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您解答数据的相关问题时，您可以使用DMS的Notebook功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速提供...
若您需下载即席查询的结果数据，在您开始执行操作前，请确认您已开启项目下载数据的权限，并已开启当前项目的下载（完整数据下载和样例数据下载）。具体操作，请参见 管理项目空间的权限和计算源、数据下载配置。使用限制 未购买查询加速时...
Trino是一个开源的分布式SQL查询引擎，适用于多数据源交互式分析查询。您可以通过开发配置EMR（E-MapReduce）Trino节点，完成海量多维数据聚合或报表分析。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版...
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
string 敏感数据所数据的行业分类列表，多个分类通过逗号分隔。general sensitive information ModelTags array object 数据标签列表。object 数据标签列表。Id integer 数据标签 ID。取值：101：个人敏感信息。102：个人信息。107：通用...
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您...磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
可以使用 元数据抽取 来识别OSS上数据的元数据信息，并存储在DLF中。最佳实践，请参见 DLF数据探索快速入门-淘宝用户行为分析。步骤三：初始化数据 初始化数据一般常见的几种情况如下：原有EMR集群，需要进行数据迁移。此时可以考虑通过 ...
数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作，请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...
Trino是一个开源的分布式SQL查询引擎，适用于多数据源交互式分析查询。您可以通过创建EMR（E-MapReduce）Trino节点，完成海量多维数据聚合或报表分析。详情请参见 Trino。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR...
10 TotalCount integer 结果中数据的总条数。61 Items array object 数据表的列的识别结果列表。array object 数据表的列的识别结果对象。ColumnName string 列名称。hide14 DataType string 列的数据类型。varchar ColumnComment string ...
name Categories array 敏感数据所数据的行业分类列表。string 敏感数据所数据的行业分类，多个通过逗号分隔。general sensitive information ModelTags array object 数据标签列表。object 数据标签对象。Id integer 数据标签名称对应的 ...
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
安全：您无需下载数据至本地，即可在线上完成数据的分析，并可以控制分析和分享数据的权限。进入数据分析 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析与服务 数据分析，单击 进入数据分析 页面。进入 数据分析 ...
数据推送节点可将Data Studio业务流程中其他节点产生的数据查询结果，通过新建数据推送目标，将数据推送至钉钉群、飞书群、企业微信群、Teams以及邮件，便于团队成员及时接收和关注最新数据情况。原理介绍 数据推送节点，可以通过 节点上...
12 TotalCount integer 结果中数据的总条数。23 Items array object 敏感数据识别规则列表。object 敏感数据识别规则详情。DisplayName string 敏感数据识别规则的创建人账号显示名。test Status integer 敏感数据识别规则的检测状态。取值...
敏感数据访问及导出情况 展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。查看数据风险 从多维度呈现了通过配置的风险识别规则命中的风险数据，方便您了解不同维度的风险...
变量 否 变量用于在仪表盘展示时，通过动态传入变量值替换数据集中SQL引用的变量，达到筛选数据的目的。SQL 是 查询数据对应的 SELECT SQL，可自由输入任意可正常执行的查询SQL。说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量...
逻辑数仓一键生成报表 数据灾备 优化 PolarDB MySQL版 库表恢复支持百万级海量表能力，突破原有5万表数量上限，满足误删数据的快速恢复、SaaS海量库表要求。库表恢复 08月 功能名称 变更类型 功能描述 相关文档 数据归档至专属存储 新增 ...
本文介绍数据查询的相关问题。物理表查询支持的云计算资源类型包含哪些？物理表查询支持的云计算资源类型包含哪些？目前包含的有MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、...
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析...
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...
阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能构建基于流式数据的分析和应用。DataHub（实时）SLS投递 将日志服务采集的...
在DataV-Note（智能分析）中基于MaxCompute数据制作报告前，需先将您的MaxCompute实例添加为DataV-Note的数据源。添加完成后，可在DataV-Note各项目中使用该数据源，访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您...
简介 从数据库中检索数据的过程或命令叫做查询。在SQL里SELECT命令用于指定查询。SELECT 命令的一般语法如下：[WITH with_queries]SELECT select_list FROM table_expression[sort_specification]下面几个小节描述选择列表、表表达式和排序...
Spark SQL语句如下：INSERT INTO mysql_db.orders_month SELECT*FROM adb_dw.orders_month WHERE dt=${bizdate} 跨库数据加工：跨多个库的数据写入到在线库中，实现在线应用中直接查询数据的功能。示例：某电商企业的交易数据保存在MySQL...
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析 配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组 网络连通，请参见 网络连通方案。配置...