使用流程 如上图所示，E-HPC 的使用流程包括以下几步：创建集群 E-HPC集群是运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。具体操作，请参见 通过控制台快速创建和管理集群。...
更新ECS节点的标签不会同步到集群E-MapReduce上，因此为了保持ECS节点与E-MapReduce上标签的一致性，建议不要单独在ECS控制台上修改ECS的标签。并且当集群中某个ECS节点的标签数量达到上限时，集群将不能再创建标签。不同地域中的标签信息...
E-HPC Portal是E-HPC提供的用于日常管理作业的Web门户，支持作业提交和查询、数据管理等功能，可以方便不同的用户进行操作。...查看日志 远程登录集群 E-HPC Portal内嵌了Workbench，支持通过Workbench远程登录集群执行相关命令，菜单栏右侧
访问Kerberos Kafka集群 E-MapReduce支持创建基于Kerberos认证的Kafka集群。当Hadoop集群作业需要访问Kerberos Kafka集群时，有以下两种使用方式：非Kerberos Hadoop集群：提供用于Kafka集群的Kerberos认证的 kafka_client_jaas.conf 和 ...
标准版日志备份空间用量（超出免费额度）集群E日志备份未超过免费额度。综上所述，总计抵扣5.32469 GB（0.10535 GB+0.10234 GB+5.117 GB）。存储包 抵扣后剩余量 为44.67531 GB（50 GB-5.32469 GB）。说明 当前示例仅用于说明如何抵扣 ...
存储类型 价格（元/GB/月）中国内地 中国（香港）韩国 日本（东京）新加坡 印度尼西亚（雅加达）德国（法兰克福）美国（弗吉尼亚）ESSD PL0 双可用区（开启存储热备集群）0.80 0.80-1.28 1.52 1.40 1.36 1.04 双可用区（开启存储热备集群和...
本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的...2022-07-18 使用ECI弹性调度Flink作业 06月 功能名称 功能概述 发布时间 相关文档 数据湖集群 E-MapReduce（简称EMR）新版控制台提供了数据湖集群，...
形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心（Hadoop集群）E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作指南 EMR Serverless StarRocks 创建实例 连接实例 实例...
支持的集群 类型 E-HPC集群根据部署环境、集群架构、调度器等分为以下几种：部署模式 系列 说明 创建集群文档 公共云 标准版 由ECS实例组成的云上HPC集群，创建集群后，E-HPC会安装调度器、服务组件等，您需要自行维护集群服务可用性。...
配置事件通知及时感知E-HPC集群变化 实践教程 主要内容 通过钉钉机器人发送事件通知 E-HPC配合事件总线EventBridge，可以将E-HPC集群操作、节点操作事件投递到云服务专用事件总线，实现操作事件可接收、可查询、可消费。您可以对E-HPC集群...
您可以通过Gateway集群实现负载均衡和安全隔离，也可以通过Gateway集群向E-MapReduce集群提交作业。本文为您介绍如何在E-MapReduce中创建Gateway集群。前提条件 已经在E-MapReduce中创建了Hadoop集群或Kafka集群，详情请参见 创建集群。...
前提条件 已创建E-MapReduce的Druid集群和Kafka集群，详情请参见 创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache Druid的Indexing Service服务实时消费Kafka数据的插件。该插件会在Overlord中启动一个...
AliyunECSInstanceForEMRStudioRolePolicy 后续操作 您在完成阿里云账户角色授权后，可通过创建集群使用E-MapReduce服务，详情请参见 创建集群。建议您创建RAM用户管理E-MapReduce服务，请参见 创建RAM用户 和 为RAM用户授权，创建具备协作...
特点 开源OSS E-MapReduce OssFileSystem E-MapReduce HDFS E-MapReduce JindoFS 存储空间 海量 海量 取决于集群规模 海量 可靠性 高 高 高 高 吞吐率因素 服务端 集群内磁盘缓存 集群内磁盘 集群内磁盘 元数据效率 慢 中 快 快 扩容操作 ...
本入门教程介绍如何通过E-HPC控制台快速创建一个公共云标准版的集群并进行管理，帮助您快速上手使用弹性高性能计算产品。前提条件 已创建服务关联角色。首次登录E-HPC控制台，系统会提示您创建E-HPC服务关联角色。已创建专有网络VPC和交换...
创建集群 集群可为E-HPC计算提供计算资源，用于后续提交、调试、运行作业，查看作业结果。您可以安装GROMACS软件、PBS调度器，选择ecs.gn5-c4g1.xlarge规格的计算节点来创建集群。创建用户 您必须提前创建用户，用于在集群中提交作业时标识...
为什么要创建集群用户 在E-HPC集群中，创建集群用户有以下几个重要原因：访问权限控制 为了保证集群中的资源和数据的安全性，需要通过创建集群用户来管理访问权限，以便限制不同用户对资源和数据的访问和操作权限。用户身份识别 通过创建...
GetCluster 查询集群详情 查询指定E-HPC集群信息。GetAddon 查询已安装组件详情 查询已安装的自定义服务组件详情。DescribeAddonTemplate 查询组件模板详情 查询自定义服务组件模板详情。DeleteCluster 释放集群 释放指定的E-HPC集群。用户...
第一批已到达EOM阶段的E-MapReduce集群版本，详见 部分E-MapReduce集群版本即将进入EOM阶段的通知。第二批即将进入EOM阶段的E-MapReduce集群版本，详见 阿里云EMR on ECS部分版本（EMR-3.39.x~EMR-3.42.x&EMR-5.5.x~EMR-5.8.x&EMR-4.10.x）...
弹性高性能计算E-HPC产品为免费服务，您仅需支付E-HPC集群内的资源费用。本文介绍E-HPC相关计费资源及其计费方式。E-HPC计费说明 通过新版弹性高性能计算创建的集群 不再收取服务费，仅需收取集群内所涉及的其它资源费用，例如ECS实例，NAS...
EMR-3.11.0及其后续版本，E-MapReduce支持Druid作为单独的一种集群类型。背景信息 E-MapReduce将Druid作为单独的集群类型，主要基于以下几方面的考虑：E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下，E-MapReduce Druid对...
查看集群列表 登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，集群列表展示您所拥有的所有集群的基本信息，以及各集群支持的操作。参数 描述 集群ID/名称 集群的ID以及名称。集群类型 当前...
本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务，包括修改相关配置以监听公网接口以及设置对应的安全组规则，从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。新建集群时，开通公网服务 新建Dataflow集群时，打开...
使用E-HPC客户端前，集群管理员需要准备好相关环境，包括集群、用户、无影云桌面等配置。配置E-HPC集群 集群管理员需完成以下集群相关配置：创建一个E-HPC集群。具体操作，请参见 使用向导创建集群。说明 对于已有集群，如果没有使用PBS...
为了迅速应对E-HPC集群的异常情况，您可以通过创建报警规则为集群配置告警通知。当监控指标达到报警条件时，云监控将自动发送通知，帮助您及时获取异常信息以便采取对应措施，确保服务稳定。本文介绍如何为E-HPC集群配置告警通知。前提条件...
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件 已在E-MapReduce控制台创建集群，详情请参见 创建集群。使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不...
本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的部署方案仅支持使用SGE调度器，并且需要 提交工单 申请开通白名单才能使用。背景信息 在HPC生命科学领域，大部分...
EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到DataWorks，使得您能够在DataWorks平台上执行基于EMR集群的数据处理任务。在创建EMR集群进行软件配置时，关键参数配置如下：参数 取值 地域 华东2（上海）。业务场景 数据...
使用E-HPC时，您需要支付E-HPC服务费和集群内的资源费用。本文介绍E-HPC相关的计费资源及其计费方式。E-HPC服务费 E-HPC可以提供集群的多维度管理服务，包括弹性节点增减、OpenAPI支持、监控报警、运维工具、服务端后台的自动化运维等。当...
当E-HPC集群面临计算节点资源不足或过多的问题时，您可以根据实际需求手动扩缩容集群，或者配置集群自动伸缩功能，无需手动操作即可实现扩缩容，以满足业务需求。本文介绍E-HPC伸缩集群的相关概念和功能。手动扩缩容 在E-HPC集群中，手动扩...
2023-04-14 配置集群巡检 2023年3月 功能名称 变更类型 功能描述 发布时间 相关文档 支持创建基于Ubuntu操作系统的E-HPC集群 新增 公共镜像新增支持Ubuntu 20.04，可以创建基于Ubuntu操作系统的E-HPC集群。2023-03-15 集群概述 使用向导...
对于EMR on ECS的产品形态，E-MapReduce集群的费用由E-MapReduce服务费用和ECS产品费用组成。其中，EMR服务费用与集群选用的ECS实例规格相关。计费相关信息，请参见 产品计费。如何配置自动续费？仅包年包月集群支持到期自动续费，详情请...
本文列出E-HPC集群支持安装的自定义服务列表信息。E-HPC支持的自定义服务 服务组件 版本 说明 Login 1.0 该组件是用于连接E-HPC集群环境的登录节点，主要用于用户登录和提交任务。公共云标准版和托管版集群均默认配置了Login组件，以便用户...
计费项 计费说明及付费方式 E-MapReduce服务费用 E-MapReduce会提供集群的多维度管理服务，包括页面的展示与控制、OpenAPI与SDK的支持、弹性伸缩、监控报警、运维工具和服务端后台的自动化运维等服务。关于E-MapReduce产品的详细定价，请...
作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。调度器 调度器指集群上调度作业的软件。自动伸缩 E-HPC自动伸缩可以根据您配置的伸缩策略动态分配计算节点，系统可以根据实时负载自动增加或减少...
在E-MapReduce集群中，不同版本的集群实例节点上会部署不同的服务角色。例如，HDFS中的NameNode会被部署在Master节点上。本文将为您介绍如何查看E-MapReduce集群中各节点上服务组件的部署信息。操作步骤 进入集群服务页面。登录 E-...
E-HPC集群节点是基于ECS实例组建，但E-HPC控制台提供了额外的部署流程，包括且不限于以下流程：E-HPC帮助您按节点配比和指定实例规格配置集群节点，为各类节点批量创建ECS实例。E-HPC创建各个节点对应的ECS实例后，会进一步部署管控系统。E...
本文介绍如何在E-HPC控制台使用向导创建集群。前提条件 已创建服务关联角色。首次登录E-HPC控制台，系统会提示您创建E-HPC服务关联角色。已创建专有网络VPC和交换机。具体操作，请参见 创建专有网络 和 创建交换机。已创建存储资源。E-HPC...
使用E-HPC时，您需要先创建集群。本文介绍如何通过控制台快速创建一个E-HPC集群。前提条件 已创建服务关联角色，首次登录E-HPC控制台会提示创建E-HPC服务关联角色。已创建专有网络VPC和交换机。具体操作，请参见 创建专有网络 和 创建交换...
节点 E-HPC集群中的每个节点是一台ECS实例。按节点功能分类，可以分为登录节点、管控节点和计算节点。各节点功能如下表所示：节点 说明 登录节点 用于远程登录集群，进行相关操作的节点，操作包括软件调试、编译和安装，以及作业提交等。...