说明 访问行为包括：表作为 SQL 计算任务中的输入表。表被 Tunnel 下载。表被 StorageAPI 调用 Read（分区表的分区粒度数据暂无）。访问每增加一次，访问频次+1。该数据从 2023 年 7 月陆续升级统计，在升级后没有被访问过或者通过 ALGO ...
本文为您介绍2023年4月13日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次版本将在全网进行分步骤的灰度，全网更新发布的时间预计为2023年4月13日至2023年8月15日。如果您未能在控制台上找到相关新功能，说明您的平台暂未...
前提条件 已在您配置的 计算源 中存储用户标签表，数据格式请参考 用户标签表数据要求。确保您的用户标签表中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已被AES加密，请在 组织系统配置 输入密钥，以便在推送或使用前解密...
左表中的每一行都会和映射表中所有的字符串计算出相似度，并最终以Top N的方式输出计算结果。输出表中相似度列的列名 输出表中相似度列的列名。列名中不能有特殊字符，只能使用英文a~z、A~Z、数字或下划线（_），且以字母开头，长度不超过...
5、指定图作业的输出表，将计算生成的结果写到结果表中。job.addOutput(TableInfo.builder().tableName(args[2]).label("vertex").build());job.addOutput(TableInfo.builder().tableName(args[3]).label("edge").build());6、提交作业执行...
5、指定图作业的输出表，将计算生成的结果写到结果表中。job.addOutput(TableInfo.builder().tableName(args[2]).label("vertex").build());job.addOutput(TableInfo.builder().tableName(args[3]).label("edge").build());6、提交作业执行...
数据资产治理支持您按照资源类型（计算资源和存储资源）查看和分析工作空间内的资源占用情况，为合理使用整体资源做辅助判断。本文为您介绍如何查看计算与存储资源使用概况。权限控制 查看 任意工作空间 资源占用情况，需要具备如下权限之...
在按量付费模式下，对Object Table的元数据分析按照内表进行计费，请参见 普通表按量付费计算规则。而对OSS非结构化数据的内容进行处理则按照外表进行计费，请参见 外部表按量付费计费规则。在包年包月付费模式下，均使用包年包月的预付费...
Ingestion Time Partition表作为一种特殊的自动分区表，支持的分区裁剪能力与普通自动分区表一致，详情请参见 基于时间计算函数的自动分区表。示例如下：说明 下述示例基于 使用示例 中已创建的 ingestion_sale_detail_hourly 和 ingestion...
透视分析 您可以使用导入的用户标签表进行针对标签的透视分析，得出标签在用户中的取值分布等信息。此外，您还可以使用导入的数据表创建RFM模型、AIPL模型，然后分别进行RFM分析、AIPL用户分析和AIPL流转分析。更多信息，请参见 用户分析...
透视分析用于通过标签（含用户属性、自定义标签）分析用户，得出标签在用户中的取值分布等信息，例如分析用户的年龄等属性、购买偏好，如下图所示。以下标签支持进行透视分析：非ID字段的文本型标签。非ID字段，且标签值不多于50个的数值型...
元数据是阿里云实时计算Flink版的核心资产，统一管理着数据表、函数等计算资源。本文深度解析其构成、类型与全生命周期管理方法，助您提升实时数据开发与运维的整体效率。
支持通过Connection托管云服务的访问凭证，主动发现OSS等外部存储湖上的结构化与非结构化数据文件，并注册成外部表，通过表的访问方式简化数据分析流程，同时缓存的湖表统计信息提升计算性能。开放存储 开放存储 满足一份数据存储多引擎...
分区表的相关介绍及其使用方式，请参见：分区表概述 基于时间计算函数的自动分区表 基于数据写入时间的自动分区表 对于部分操作MaxCompute的命令，处理分区表和非分区表时语法有差异，详情请参见 创建和删除表、修改和查看表 和 插入或覆写...
Join模板 Regular Join 如果您需要关联查询其他流表的数据进行计算，则可以使用Regular Join语法。Interval Join 如果您需要关联某张表在指定时间范围内的数据，则可以使用Interval Join语法。时态表Join 如果您需要流表中的每条数据都关联...
例如，分区裁剪失效、扫描大表提醒及重复计算检测等。您在使用DataWorks数据开发功能时，如果代码中有语法错误，会出现如下红色波浪线提示。关于SQL代码、表命名、生命周期及注释的其他规范，请参见 表设计规范 及 MaxCompute数据开发规范...
计算任务的相关对象，指 当前任务引用读取的表、引用读取当前任务的表、当前任务依赖对象、将当前任务作为上游依赖的任务。本文为您介绍如何查看及管理任务的相关对象。任务相关对象入口 在Dataphin首页，单击顶部菜单栏 研发。默认进入...
ehpc-hz-FYUr32*Hostnames array 否 待查询计算节点的主机名列表。string 否 计算节点主机名。compute000 PrivateIpAddress array 否 待查询计算节点的 IP 地址列表。string 否 计算节点的 VPC 网络的 IP 地址。172.16.*.*PageNumber ...
计算任务的相关对象，指 当前任务引用读取的表、引用读取当前任务的表、当前任务依赖对象、将当前任务作为上游依赖的任务。本文为您介绍如何查看及管理任务的相关对象。任务相关对象入口 在Dataphin首页，单击顶部菜单栏 研发。默认进入...
数据表 数据表是多方安全计算中存储在节点的原始数据，并且只能在节点本地使用。数据授权 在项目使用机构数据前，由机构管理员将数据表、特征组等数据授权到项目内使用的操作称为数据授权。特征 用户离线样本的信息维度。特征服务 提供特征...
本文介绍在蚂蚁隐私计算服务平台新建表结构模板的方法。操作步骤 登录 蚂蚁隐私计算服务平台。在左侧导航栏，选择 我的资源 数据资产。在 数据表 页签下，单击 新建表结构模板。在 新建表结构模板 面板中配置以下信息。参数 说明 表结构...
SQL作业计算成本控制 对于SQL计算作业，大部分费用较高的SQL都是由全表扫描引起的。另外，调度频繁也会引起SQL作业费用的增加，调度频繁可能会产生任务的堆积，在后付费的情况下会造成排队现象，如果任务多又出现了排队，那么第二天的账单...
配置Iceberg Catalog后，您可以通过实时计算Flink版直接访问阿里云数据湖构建（Data Lake Formation）中的Iceberg表。本文为您介绍如何在实时计算开发控制台创建、查看与删除Iceberg Catalog，以及管理Iceberg数据库和Iceberg表。注意事项 ...
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
计算资源价格 1 CU计算资源价格如下表所示。类型 公共云售价 金融云售价 备注 多AZ高可用计算资源 195 元/CU/月 370 元/CU/月 实名认证账号，购买时长为1年可享8.5折优惠；2年可享7折优惠；3年可享5折优惠；4年可享4折优惠；购买时长为5年...
仅Flink计算引擎VVR 4.0.11及以上版本支持直接将数据写入到ClickHouse分布式表对应的本地表。仅Flink计算引擎VVR 4.0.11及以上版本提供写EMR的ClickHouse的Exactly Once语义。但对EMR-3.45.1和EMR-5.11.1之后版本的ClickHouse，由于EMR ...
随着MaxCompute的深入使用，会出现对MaxCompute的表有很多重复查询的情况，并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算，MaxCompute提供物化视图智能计算加速功能，为您智能分析并...
例如某张维表希望连接特定的计算组read_warehouse，可以通过 'dbname'='db_test@read_warehouse' 方式指定，详情请参见 连接计算组。说明 仅JDBC相关模式支持使用计算组，详见源表、维表和结果表WITH参数中的sdkMode参数。tablename 表名称...
操作 单击建议，进入 优化建议表详情 页面，包含相关内容如下：优化建议 表现状 预估收益概览 预估节省Shuffle量/天 可受益读表作业 全量写表作业 全量读表作业 应用聚簇优化建议 将聚簇建议直接应用于原始表 界面操作 对于分区表，可以...
提交到开发环境 提交表至DataWorks的开发环境，即在开发环境所添加的MaxCompute计算资源对应的MaxCompute项目中创建当前表。提交成功后，可执行如下操作：查看表结构 在数据开发（DataStudio）开发ODPS SQL任务，通过 desc tablename 命令...
构建DWS层：实时指标计算 实时消费宽表的Binlog，事件驱动地聚合出相应的DWS层的用户维度和商户维度的指标表。通过Hologres提供应用查询。对DWS层的聚合指标表进行查询，支持百万级RPS。对DWD层宽表进行OLAP分析或基于宽表数据展示实时报表...
说明 部分子查询（例如SCALAR、IN、NOT IN、EXISTS或NOT EXISTS）在执行过程中会被转换成JOIN进行计算，MAPJOIN是一种高效的JOIN算法，若您确定SUBQUERY的计算结果为小表，可以在子查询SUBQUERY语句中使用HINT来显式地指定使用MAPJOIN算法...
说明 部分子查询（例如SCALAR、IN、NOT IN、EXISTS或NOT EXISTS）在执行过程中会被转换成JOIN进行计算，MAPJOIN是一种高效的JOIN算法，若您确定SUBQUERY的计算结果为小表，可以在子查询SUBQUERY语句中使用HINT来显式地指定使用MAPJOIN算法...
SDK列表 下表提供了弹性加速计算实例EAIS支持的SDK列表，您可以在GitHub仓库中查看SDK的更新历史，然后获取安装包并查看指导文档进行安装和使用。说明 更多编程语言版本的SDK信息，请参见 第三方SDK服务。编程语言 GitHub地址 GitHub文档 ...
ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin 问题描述 两个表进行JOIN的时候，如果没有指定JOIN的条件，则会退化为两个表之间进行笛卡尔积计算。在 odps.sql.allow.cartesian ...
数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute...
通常，这些指标的计算方式为从日志明细表中查询数据进行计算。例如，运行如下SQL语句计算商品最近30天的访客数。SELECT item_id-商品id,COUNT(DISTINCT visitor_id)AS ipv_uv_1d_001 FROM 用户访问商品日志明细表 WHERE ds=${bdp.system....
查询定义 支持所有Flink SQL查询语句，定义物化表的数据来源和计算逻辑。动态更新：持续模式下，查询结果实时更新至物化表。全量模式下，每次调度执行查询并覆盖旧数据，确保结果准确性。Schema管理 物化表的列名、类型会从查询语句自动...
本文为您介绍2022年5月16日发布的实时计算Flink版的重大功能变更和主要缺陷修复。...优化了Kafka源表上报pendingRecords指标的计算逻辑。修复开发控制台界面部分成员名称不显示的问题。修复部分合法DDL语法校验报错的问题。
自动分区方式 功能介绍 基于时间计算函数的自动分区表 支持用户对表中的时间或日期类型（如DATE、DATETIME、TIMESTAMP、TIMESTAMP_NTZ）的数据列使用特定的时间计算函数（TRUNC_TIME），MaxCompute将自动根据数据列计算后的结果生成分区列...