说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID），以及两个属性列price（价格）和timestamp（订单时间）。DataV数据可视化 登录DataV的用户名和...
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
冷数据的判定标准如下：当前时间-数据的时间戳=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
接口说明 本接口一般用于敏感数据保护概览页面各资产类型数据的查询。注意事项 此接口已废弃，不再维护。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将会被限流，这可能影响您的业务，请合理调用。调试 您可以在Open...
本文介绍如何通过减少单次查询数据点来提升查询效率。...起始时间和结束时间最好对齐小时自然边界，避免额外数据的查询。查询的 RT 和需要聚合的数据有关，数据越多，耗时越长。查询操作无法取消，请谨慎选择查询时间范围和查询的 Tag 条件。
前提条件 若您需下载即席查询的结果数据，在您开始执行操作前，请确认您已开启项目下载数据的权限，并已开启当前项目的下载（完整数据下载和样例数据下载）。具体操作，请参见 添加项目成员、数据下载配置。使用限制 未购买查询加速时，...
提升查询性能 方法 适用场景 描述 区别 使用预聚合提升查询性能 大量时间线实时聚合查询 预聚合通过使用Lindorm时序引擎提供的 数据的持续查询 功能，提前将需要查询的结果进行计算后转存到结果表，查询时指定查询结果表，即可快速查询结果...
DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景，属于固定场景，不支持执行新增、编辑、删除等操作。同时，...
若您需下载即席查询的结果数据，在您开始执行操作前，请确认您已开启项目下载数据的权限，并已开启当前项目的下载（完整数据下载和样例数据下载）。具体操作，请参见 管理项目空间的权限和计算源、数据下载配置。使用限制 未购买查询加速时...
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您解答数据的相关问题时，您可以使用DMS的Notebook功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速提供...
数据准备 将需要处理的电商数据上传图片至OSS，本文示例为50张商品海报图片数据。数据来源于阿里云天池公共数据集：海报设计文本图像数据集。创建Object Table。SET odps.namespace.schema=true;开启租户级Schema语法开关。CREATE OBJECT ...
Trino是一个开源的分布式SQL查询引擎，适用于多数据源交互式分析查询。您可以通过开发配置EMR（E-MapReduce）Trino节点，完成海量多维数据聚合或报表分析。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版...
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您...磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
数据共享交换：通过 数据服务 将数据封装成标准的数据API服务，或使用数据推送功能，实现数据的程序化调用。全链路数据治理：数据治理能力贯穿于整个数据流转过程，确保数据的可信、可控、可用。元数据采集会自动同步至 数据地图，便于用户...
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
安全：您无需下载数据至本地，即可在线上完成数据的分析，并可以控制分析和分享数据的权限。进入数据分析 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析与服务 数据分析，单击 进入数据分析 页面。进入 数据分析 ...
敏感数据访问及导出情况 展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。查看数据风险 从多维度呈现了通过配置的风险识别规则命中的风险数据，方便您了解不同维度的风险...
变量 否 变量用于在仪表盘展示时，通过动态传入变量值替换数据集中SQL引用的变量，达到筛选数据的目的。SQL 是 查询数据对应的 SELECT SQL，可自由输入任意可正常执行的查询SQL。说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量...
本文介绍数据查询的相关问题。物理表查询支持的云计算资源类型包含哪些？物理表查询支持的云计算资源类型包含哪些？目前包含的有MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、...
阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能构建基于流式数据的分析和应用。DataHub（实时）SLS投递 将日志服务采集的...
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析 配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组 网络连通，请参见 网络连通方案。配置...
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
在DataV-Note（智能分析）中基于PolarDB MySQL数据制作报告前，需先将您的PolarDB MySQL实例添加为DataV-Note的数据源。添加完成后，可在DataV-Note各项目中使用该数据源，访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文...
在DataV-Note（智能分析）中基于RDS MySQL数据制作报告前，需先将您的RDS MySQL实例添加为DataV-Note的数据源。添加完成后，可在DataV-Note各项目中使用该数据源，访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您介绍...
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、OpenAPI等不同对象类型的数据查询记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页的顶部菜单栏，选择 研发 数据开发。在 开发 页面...
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、OpenAPI等不同对象类型的数据查询记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页的顶部菜单栏，选择 研发 数据开发。在 开发 页面...
流动模式：展示数据的流入、整合与输出过程，更直观地体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页的顶部菜单...
流动模式：展示数据的流入、整合与输出过程，更直观地体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页的顶部菜单...
在电商行业的数据分析中，商家往往面临着电商数据获取难、数据跨平台加工及整合难、缺少专业的行业分析思路等难题。通过瓴羊One·分析数据源，商家可以直接在Quick BI上接入各电商平台的数据，以在后续进行专题分析及关联分析，在解决电商...
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在DataV大屏上实现电商数据的可视...
同时可单独申请字段的查表数据权限，两者按照最长有效期生效。改表数据：拥有表级的改表数据权限。删除表：删除整表的权限（Drop）。改表结构：修改表结构的权限，如增减字段、修改表名。字段级权限：仅显示单独申请的字段权限，最终鉴权以...
Spark SQL语句如下：INSERT INTO mysql_db.orders_month SELECT*FROM adb_dw.orders_month WHERE dt=${bizdate} 跨库数据加工：跨多个库的数据写入到在线库中，实现在线应用中直接查询数据的功能。示例：某电商企业的交易数据保存在MySQL...
同时可单独申请字段的查表数据权限，两者按照最长有效期生效。改表数据：拥有表级的改表数据权限。删除表：删除整表的权限（Drop）。改表结构：修改表结构的权限，如增减字段、修改表名。字段级权限：仅显示单独申请的字段权限，最终鉴权以...
数据库 数据库 ListDatabases 查询数据地图数据库列表 查询数据地图中给定实例/集群/数据目录下的数据库列表。对于dlf/starrocks类型，查询给定数据目录下的数据库列表，其中starocks类型仅支持查询Internal Catalog；对于其他类型，查询...
一级主题 二级主题 应用层_电商业务_电商集市 活动、电商360 应用层_电商业务_其他集市-公共层_电商业务_会员域 注册、登录、会员域默认 公共层_电商业务_商品域-公共层_电商业务_交易域 下单、加购、支付、退款 公共层_电商业务_物流域 ...
权限类型：本次运行脚本中所需要的权限，其中数据源表只有查表数据权限；数据源只有执行权限。操作：若检查对象失败，您可以针对单个或多个对象进行权限申请。单个对象权限申请：单击目标对象 操作 列的 图标，申请该对象权限点的个人权限...
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...