提交作业 运行应用 应用中心支持界面化提交作业，目前支持以下应用：GROMACS HPL iPerf FIO AutoDock Vina 运行GROMACS进行分子动力学模拟 运行HPL、iPerf和FIO以测试集群性能 使用AutoDock Vina软件进行药物筛选 查询作业 提交作业后，...
E-MapReduce将这些库以依赖库的形式发布在调度服务的仓库中，在创建作业时需要指定使用哪个版本的依赖库。您只需设置相应的依赖库版本，例如 sharedlibs:streamingsql:datasources-bundle:2.0.0。失败处理策略 当前语句执行失败时 当前语句...
E-MapReduce将这些库以依赖库的形式发布在调度服务的仓库中，在创建作业时需要指定使用哪个版本的依赖库。您只需设置相应的依赖库版本，例如 sharedlibs:streamingsql:datasources-bundle:2.0.0。在 作业设置 面板，单击 告警设置 页签。...
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
本文介绍如何配置Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
本文介绍如何配置Sqoop类型的作业。前提条件 已创建好项目，详情请参见 项目管理。使用限制 EMR-1.3.0及后续版本支持Sqoop作业类型。在低版本集群上运行Sqoop作业会失败，errlog会报不支持的错误。参数详情请参见 Sqoop。操作步骤 进入数据...
本文介绍如何配置Spark Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
数据开发 功能集 功能 功能描述 参考文档 作业开发 SQL作业开发 编写SQL作业代码，可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能进行SQL作业开发。SQL作业开发 Flink SQL作业快速入门 使用内置公开数据集快速体验...
本文介绍如何配置Spark SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
在运维方面，我们支持了批量告警设置的能力，同时提供了告警能力、排班等多种场景下告警的设置，方便您更好的运维Flink作业。主要功能介绍 特性 详情 相关文档 SQL作业草稿支持代码搜索 支持搜索所有使用指定字符串的作业草稿，并定位对应...
优化诊断界面的，协助您更好地查看问题。作业智能诊断 数据同步支持新增计算列 CTAS语句支持在Source表上新增计算列，并修改目标表的主键为新增列。在进行数据入仓入湖时，CTAS语句允许指定新增计算列的位置，并把它作为目标表的物理列，...
产品定价 使用基因分析平台时，涉及收费的资源项如下：计算资源：用户计算作业执行过程中，消耗的 CPU/MEM/DISK等计算资源 软件算法：用户计算作业中可能使用的第三方商业软件 更多信息，请参见 计费概述。相关概念 如果您希望全面地了解...
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
本文介绍如何配置Pig类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好Pig的脚本，示例如下。Licensed to the Apache Software Foundation(ASF)under one*or more contributor license agreements.See the NOTICE file*...
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
补数据作业隔离 补数据作业即重刷数据作业，如果需要补很长时间的数据则会消耗很多资源，但是又不希望影响日常作业运行，那么您可以单独创建一个 Quota并设置好规则专门运行补数据作业。例如，DataWorks的调度任务发起补数据作业固定会传...
实时计算Flink版提供了一份编写好的实时交通密度分析作业代码 FlinkSedonaExample.zip 及其JAR包 FlinkSedonaExample-1.0-SNAPSHOT.jar 作为参考，代码基于实时计算Flink版引擎VVR 8.0.11版本，对应Apache Flink版本1.17.2。...
创建作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。您可以在集群中使用GROMACS软件运行水分子算例。查看作业结果 您可以在E-HPC管理控制台查看...
升级流程 步骤一：备份作业并部署新作业 为了确保作业运行的稳定性，建议通过克隆创建一个完全相同的新作业，并在新作业上进行作业引擎版本升级。SQL 登录 实时计算管理控制台，单击目标工作空间 操作 列下的 控制台。备份SQL老作业。在 ...
本文将向您介绍批量计算产品中涉及的几种作业类型，以便于您更好地选择批量计算产品。背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务...
解答 这是由于操作与查看发生在两个不同时间点导致的正常现象。在T1时刻，作业确实处于重启过程中，无法接受更新操作；而到T2时刻查看控制台时，重启过程已经完成，因此显示为正常运行状态。这不是系统显示错误或接口问题，只是SDK操作与...
登录节点：可以进行软件安装、编译和调试，作业提交等操作。管控节点：包括调度器服务器和域账号服务器。调度器服务器：运行调度器客户端，管理调度节点，处理作业提交。域账号服务器：管理集群内的用户。计算节点：运行高性能计算作业，其...
解答 这是由于操作与查看发生在两个不同时间点导致的正常现象。在T1时刻，作业确实处于重启过程中，无法接受更新操作；而到T2时刻查看控制台时，重启过程已经完成，因此显示为正常运行状态。这不是系统显示错误或接口问题，只是SDK操作与...
常见类型：提交媒体信息作业、提交转码作业、查询转码作业、提交截图作业、提交智能生产作业、提交智能标签作业、提交媒体审核作业、提交视频DNA作业、提交视频版权水印作业等。提交任务：提交方式：支持使用MPS控制台、调用各类提交作业的...
环境配置 由于DataFlow集群采用YARN部署模式，如果提交Flink作业的客户端不位于DataFlow集群内，您还需要在提交Flink作业的客户端的机器上配置好Hadoop相关的配置项，并设置好相关的环境变量。验证迁移环境 您自建集群的环境可能与DataFlow...
实时计算Flink版对批处理能力进行了专门的支持，提供了包括作业开发、作业运维、作业编排、资源队列管理、数据结果探查等能力，可以利用Flink批处理能力更好地解决业务需求。本文通过具体的示例为您介绍如何利用实时计算Flink版关键功能...
COMPUTE_REGION 集群 ID：BATCH_COMPUTE_CLUSTER_ID 虚拟机 ID：BATCH_COMPUTE_WORKER_ID Docker 运行环境：root用户：USER 工作目录：PWD 软件路径：PATH 家目录：HOME 作业 ID：BATCH_COMPUTE_DAG_JOB_ID 任务名称：BATCH_COMPUTE_DAG_...
在多节点 GPU 训练中网络通信延迟拖累整体性能时，为缩短模型训练周期，可利用 Arena 提交 PyTorch 分布式作业并配置 eRDMA 网络加速，实现低延迟、高吞吐的节点间通信，提升训练效率和集群利用率。适用范围 集群类型：仅支持 ACK托管集群...
该配置创建好后，给它命名即定义了一个作业。执行计划 执行计划是将作业与集群关联起来的一个纽带：可以把多个作业组合成一个作业序列。可以为作业准备一个运行集群（或者自动创建出一个临时集群或者关联一个已存在的集群）。可以为这个...
创建E-HPC集群后，您需要为集群添加用户才能在集群中提交作业。本文介绍管理用户的相关操作，包括创建用户、修改用户权限、重置用户密码和删除用户。前提条件 集群状态处于 运行中。新增用户 在集群中提交作业前，您需要为集群新增用户。...
同时在算子兼容性和分布式性能方面有明显提升，推荐新用户和新作业可直接基于MaxFrame进行Python开发，使用PyODPS DataFrame和Mars的历史作业建议逐步迁移至MaxFrame执行以获取更好的开发体验和服务支持。MaxCompute分布式计算框架MaxFrame...
用户组 sudo权限组 适用于需要管理集群的管理员，除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。密码 Ehpc123456 登录集群的密码。单击 确定。执行结果 创建完成后，用户列表中会显示已创建的gmx.test用户。后续...
用户用于在集群中提交作业时标识身份。E-HPC集群支持创建具有不同权限的用户，方便区分管理员和普通用户。本文介绍管理用户的相关操作，包括创建用户、修改用户权限、重置用户密码和删除用户。创建用户 打开弹性高性能计算控制台的 用户 ...
本文为您介绍Flink工作空间、项目空间以及作业管理及功能使用相关的问题，包括资源变配、查看工作空间ID、作业引擎版本、配置作业参数等。工作空间与项目空间管理 工作空间名称能否修改？VPC和虚拟交换机能否更换？如何查看工作空间ID等...
开启Kerberos认证能够提升集群的安全性，但也增加了集群的使用和维护难度：开启Kerberos前，用户需要对Kerberos的原理、使用有一定的了解，才能更好的使用Kerberos；开启Kerberos后，提交作业的方式与没有开启Kerberos有一些区别，需要对...
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。