MaxCompute支持自动分区（AUTO PARTITION）表，自动分区表的分区列支持基于时间计算函数或基于数据写入时间两种方式自动生成。本文介绍基于时间计算函数生成的自动分区表的使用方式。功能介绍 MaxCompute支持普通分区表和自动分区表（AUTO ...
高效支持整库同步、单表同步、分库分表同步、新增表同步、表结构变更和自定义计算列同步等能力，还支持ETL处理、Where条件过滤、列裁剪和计算列，极大地简化了数据集成过程，有效提升了数据集成的效率和可靠性。Flink CDC优势 在实时计算...
分桶（Bucketing）分桶策略是一种数据分布技术，通过将表中的数据划分为多个小块并分布到多个服务中，以实现高效的数据存储和计算。在创建 Fluss 表时，你可以通过设置 'bucket.num'='' 属性来指定分桶数量，详情请参见 管理表。目前，...
本文将为您介绍Partial Update的使用。为什么需要Partial Update实现大宽表拼接 在传统流式数据管道中，为构建宽表常需在...我们将观察到三张明细表分写写入后，大宽表中汇总的流式计算结果：以 user_id 为主键计算生成了正确的大宽表数据。
自动分区表（AUTO PARTITION）分区裁剪能力 增强，支持对建表时生成分区列的时间/日期类型数据列进行函数计算，并将计算结果作为过滤条件支持分区裁剪，详情请参见 基于时间计算函数的自动分区表分区裁剪。语言/语法 支持 GROUP BY ALL ...
本文为您介绍实时计算Flink版支持的表类型的定义和连接器。表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表：是数据流的...
大数据计算服务MaxCompute Elasticsearch结果表支持指定列作为路由Key 支持指定路由Key帮您以性能更好的方式使用Elasticsearch。Elasticsearch CUMULATE对更新流WindowAggregate新聚合算子的支持 增强CDC数据流的窗口聚合能力。Queries语句...
YAML作业优势：不仅覆盖CTAS和CDAS的关键能力（如整库同步、单表同步、分库分表同步、新增表同步、表结构变更和自定义计算列同步等），还支持表结构变更立即同步、原始Binlog同步、Where条件过滤、列裁剪等能力。建议使用YAML完成数据摄入...
类别 详情 运行模式 流模式 API种类 SQL 支持类型 源表、维表和结果表 数据格式 暂不支持 特有监控指标 源表：无 维表：无 结果表：numBytesOut numBytesOutPerSecond numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标含义...
Elasticsearch连接器支持的信息如下：类别 详情 支持类型 源表、维表和结果表 运行模式 批模式和流模式 数据格式 JSON 特有监控指标 源表 pendingRecords numRecordsIn numRecordsInPerSecond numBytesIn numBytesInPerSecond 维表 无 结果...
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
SpotQuota且引用了OTS、OSS外部表的SQL作业）引用外部表的SpotSQL作业当日总费用=计算输入数据量×单价 计费单价如下：公共云：0.03元/GB 金融云：0.057元/GB SpotMapReduce作业（指计算配额为os_SpotQuota的MapReduce作业）SpotMapReduce...
如果您可以预估一条数据对应的维表数据最多为n条，则可以设置 maxJoinRows='n'，以确保实时计算匹配处理效率。类型映射 Flink字段类型 RDS MySQL字段类型 BOOLEAN BOOLEAN TINYINT TINYINT TINYINT(1)说明 仅维表支持该映射。BOOLEAN ...
实时计算Flink版实时消费Hologres 管理Hologres Catalog MaxCompute连接器更新 支持 upsert.partial-column 部分列更新，提供了多流写入MaxCompute构建宽表的能力。大数据计算服务MaxCompute StarRocks类型映射扩容 对CHAR类型的映射进行...
Filter规则应当是一个可被求值为BOOLEAN类型的表达式，可以引用源表中的任意列及计算列。如果某条数据变更记录匹配了一个Filter不为空的Transform规则，并且Filter表达式的求值结果为 FALSE，那么该行数据将不会被发送给下游。说明 如果您...
背景信息 实时计算Flink版支持多库多表同步和分库分表合并两种数据同步方式，二者的区别请参见下表。同步方式 详情 多库多表同步 如果您需要将一个或多个数据库中的一张或多张业务数据表实时复制到另一个数据库时，则可以使用多库多表同步...
使用弹性高性能计算涉及的相关概念如下表所示。概念 说明 集群 集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。集群包含弹性公网IP、集群节点、调度器、域账号、集群用户...
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 Processing Time Temporal Join使用处理时间（Processing Time）属性，将事实表中的每条数据与维表的的最新数据进行关联处理。与事件时间...
使用弹性高性能计算涉及的相关概念如下表所示。概念 说明 集群 集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。集群包含弹性公网IP、集群节点、调度器、域账号、集群用户...
使用限制 仅实时计算引擎VVR 11.2及以上版本进行管理。创建主键表 CREATE TABLE `my-catalog`.`my_db`.`my_pk_table`(shop_id BIGINT,user_id BIGINT,num_orders INT,total_amount INT,PRIMARY KEY(shop_id,user_id)NOT ENFORCED)WITH('...
配置Paimon Catalog后，您可以通过实时计算Flink版直接访问阿里云数据湖构建（Data Lake Formation）中的Paimon表。本文为您介绍如何在实时计算开发控制台创建、查看与删除Paimon Catalog，以及管理Paimon数据库和Paimon表。注意事项 仅...
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
按量付费标准版计算资源限制 为了避免单用户占用过多集群资源而导致其他用户无法发起作业的情况发生，MaxCompute限制了单用户、单地域可使用的按量付费标准版计算资源（单位：CU）上限，具体额度请参见下表。国家或地区 地域（Region）按量...
本文为您介绍如何在实时计算开发控制台向Paimon表中插入、更新、覆写或删除数据，以及从Paimon表消费数据，并指定消费位点。前提条件 已创建Paimon Catalog和Paimon表，详情请参见 管理Paimon Catalog。使用限制 仅实时计算引擎VVR 8.0.5及...
增量计算：基于Delta Table增量表格式，MaxCompute增加了增量物化视图（Materialized View）、Time Travel 以及 Stream Table 等一系列的增量计算能力。同时增量 MV 和周期性调度Task提供了不同的触发频率，从而为用户提供更多手段来平衡...
Paimon社区版本 实时计算Flink版引擎版本（VVR）1.1 11.1 1.0 8.0.11 0.9 8.0.7、8.0.8、8.0.9、8.0.10 0.8 8.0.6 0.7 8.0.5 0.6 8.0.4 0.6 8.0.3 SQL Paimon连接器可以在SQL作业中使用，作为源表或者结果表。语法结构 如果您在 Paimon ...
【方案一】【方案二】【方案三】特点：relation异构表 与原始的数据结构最贴近、表配置量过多 特点：relation同构表 图配置简单，只需要2张表：User用户表和设备关联表 特点：增加设备作为独立节点 对于热门设备的关系变更更加友好 问题：...
计算平均温度并写入结果表中 insert into output select productKey,deviceName,avg(temperature)as avg_temperature,-计算平均温度 tumble_start(tstamp,interval '5' second),-时间窗口开始时间（时间窗口长度为5秒)tumble_end(tstamp,...
Map Instance[1,100000]数量限制 odps.stage.mapper.num 无 是 单个Job的Map Instance个数由框架根据Split Size计算得出，如果没有输入表，可以通过odps.stage.mapper.num直接设置，最终个数范围[1,100000]。Reduce Instance[0,2000]数量...
服务端会立即在可正常提供服务的AZ调配计算资源，系统自检项目中表、分区、权限等数据的完整性和可用性。客户端已提交的作业会出现运行失败的情况，需要重新提交作业，访问MaxCompute的配置无需修改，如Endpoint、认证信息、project_name、...
实时计算1 CU的处理能力如下表所示。处理场景 处理能力 简单的流式压测处理 例如，过滤、清洗等操作。1 CU每秒可以处理40000~55000条数据。复杂的流式压测处理 例如，聚合操作、复杂UDF计算等。1 CU每秒可以处理5000~10000条数据。说明 ...
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
实时计算1 CU的处理能力如下表所示。处理场景 处理能力 简单的流式压测处理 例如，过滤、清洗等操作。1 CU每秒可以处理40000~55000条数据。复杂的流式压测处理 例如，聚合操作、复杂UDF计算等。1 CU每秒可以处理5000~10000条数据。说明 ...
使用E-HPC Instant计算服务涉及的相关概念如下表所示。概念 说明 应用 用于创建用户作业的应用和镜像，可使用E-HPC Instant计算服务提供的公共应用或用户自定义应用。作业 提交到E-HPC INSTANT平台上用于完成用户工作负载的最小单元，可以...
为了确保在实时计算开发控制台中更加高效且灵活地管理和操作Paimon表（合并小文件、数据排序等特定任务等），您需要提前配置相关工具包。本文为您介绍如何在 实时计算开发控制台 中完成这一配置过程，助力您更轻松管理Paimon表数据。使用...
table_xx-输入 query 表-query_table_partition 20221111-输入 query 表 partition-output_table output_table_xx-输出表-output_table_partition 20221111-输出表 partition-data_type float-向量数据类型-dimension 8-向量维度-external_...
大数据计算服务MaxCompute DataHub连接器源表性能优化 在一定场景下提升性能幅度达到290%左右。无 表格存储Tablestore连接器支持写入时序数据 表格存储的时序模型针对时间序列数据的特点进行设计，支持写入Tablestore时序数据。无 Hive ...
弹性高性能计算和其他产品的关系如下表所示。产品 说明 相关文档 云服务器ECS ECS是集群的组成部分，根据使用功能作为集群的登录节点、管控节点和计算节点。登录节点：可以进行软件安装、编译和调试，作业提交等操作。管控节点：包括调度器...
一个计算刷新任务只允许输出一个表，特殊情况除外。如果多个任务刷新输出一个表（不同任务插入不同的分区），DataWorks上需要建立一个虚拟任务，依赖多个任务的刷新和输出。通常，下游应该依赖此虚拟任务。CDM汇总层优先调用CDM明细层，可...