什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供了两种类型的权限策略：系统策略和自定义策略。系统策略统一由阿里云创建，策略的版本...
ACK管控控制台中，“有状态”界面下的shuffleservice-worker容器组数量"3/1000"是什么含义？3/1000"表示当前ShuffleService-Worker的实例数量为3个，而集群的最大可扩展容量上限为1000个。如果还有类似的告警信息，可以直接忽略。0/18 ...
Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么还有很多小文件？如果想删除最近产生的小文件（这些小文件已经被合并），应该如何处理？执行了Vacuum，...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它...快速入门 EMR Notebook 快速使用EMR Notebook EMR Workflow 手动任务快速入门 工作流快速入门 相关文档 什么是EMR Notebook 什么是EMR Workflow
EMR-3.52.0及其后续版本，以及EMR-5.18.0及其后续版本，均在镜像内预装了阿里云CLI和ossutil 2.0，安装路径位于/usr/local/bin/目录下。工具简介如下所示。工具 简介 命令行工具ossutil 2.0（预览版）...更多信息，请参见 什么是阿里云CLI。
请注意，EMR on ECS形态已下线Spark Native引擎。目前，仅在EMR Serverless Spark形态提供Fusion Engine（Spark Native Engine）。更多信息，请参见 什么是EMR Serverless Spark。
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
操作（Action）下表是 开源大数据平台 E-MapReduce 定义的操作，这些操作可以在 RAM 权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的 API 接口。...
什么是滚动窗口 滚动窗口（TUMBLING）将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分成[0:00-0:05)、[0:05,0:10)和[0:10,...
什么是滑动窗口 滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的大小，slideDuration为每次滑动的步长，两者关系如下：...
本文为您介绍什么是内表数据源（Default Catalog），以及如何使用Default Catalog查询StarRocks内部数据。Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog（内部数据目录），用于管理StarRocks的内部数据。每个StarRocks...
如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR ...
VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...
E-MapReduce（简称EMR）会记录当前集群资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看集群的事件，并在云监控控制台中设置事件告警。使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和...
介绍EMR Workflow公测说明。公测时间说明 EMR Workflow公测已于2023年6月29日开启，预计于2024年01月10日结束。公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Workflow EMR Workflow角色授权 工作流快速入门
操作（Action）下表是 开源大数据平台 E-MapReduce 定义的操作，这些操作可以在 RAM 权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的 API 接口。...
介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年09月13日结束。公测阶段面向所有用户开放，您可以...什么是EMR Serverless Spark 创建工作空间 SQL开发快速入门
本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步按地域开启公测，公测面向所有用户开放。您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Notebook EMR Notebook角色授权 快速使用EMR Notebook
操作（Action）下表是 开源大数据平台 E-MapReduce 定义的操作，这些操作可以在 RAM 权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的 API 接口。...
公共请求参数 是系统规定的公共参数。服务地址 API的常用服务接入地址，如下所示。地域 服务地址 cn-hangzhou：杭州 emr.aliyuncs.com cn-beijing：北京 emr.aliyuncs.com cn-shanghai：上海 emr.aliyuncs.com cn-shenzhen：深圳 emr....
EMR Serverless StarRocks EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？什么是数据湖？什么是ETL？什么是可观测？产品架构 EMR Serverless Spark的架构分为以下四层：应用场景层 EMR Serverless Spark致力于满足多样化的数据需求。针对数据仓库和BI...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ReleaseCluster 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ReleaseCluster。Id String 是 C-D7958B72E59B*集群ID。您可以调用 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddClusterService 系统规定参数。取值：AddClusterService。ClusterId String 是 C-F32FB31D8295*待添加服务的集群ID。RegionId String 是 cn-hangzhou 集群对应的地域ID。...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteResourceQueue 系统规定参数。取值：DeleteResourceQueue。ClusterId String 是 C-EBD62A703A430E23 集群ID。您可以调用 ListClusters 查看集群的ID。RegionId String 是 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteClusterTemplate 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteClusterTemplate。BizId String 是 CT-35498C56B3F1*模板ID...