除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。重要 请谨慎分配sudo权限。具有sudo权限的用户如果操作错误（如误删除E-HPC软件栈模块），会导致集群异常。密码、确认密码 Ehpc12*根据页面提示，设置用户使用密码...
用户组 sudo权限组 适用于需要管理集群的管理员，除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。密码 Ehpc123456 登录集群的密码。单击 确定。执行结果 创建完成后，用户列表中会显示已创建的gmx.test用户。后续...
用户用于在集群中提交作业时标识身份。E-HPC集群支持创建具有不同权限的用户，方便区分管理员和普通用户。本文介绍管理用户的相关操作，包括创建用户、修改用户权限、重置用户密码和删除用户。创建用户 打开弹性高性能计算控制台的 用户 ...
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
Q：我有大量渲染作业，但是波峰波谷明显，有什么好建议？A：使用自定义集群，可长期维持在一定数量，满足日常的渲染需求，当波峰来临时，可以提交 AutoCluster 任务或者调高集群规模（波峰过去调低数量），省钱又省力。Q：制作完场景后我要...
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一款经典分子动力学软件。LAMMPS包含的势函数可用于固体材料（金属、半导体）、软物质（生物大分子，聚合物）、粗粒化或介观尺度模型体系。本文介绍如何进行LAMMPS ...
DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/yarn-current，配置文件的目录是/etc/taihao-apps/hadoop-conf/，您需要将 yarn-current 目录及 hadoop-conf 目录下载到提交Flink作业的客户端上。然后，在提交Flink作业的客户...
E-HPC客户端提供了可视化的页面来配置GROMACS，可以快速提交GROMACS作业进行分子动力学模拟。背景信息 GROMACS（GROningen MAchine for Chemical Simulations）是一款通用软件，可以对具有数百万颗粒子的系统进行基于牛顿运动方程的分子...
CreateImageByExecutor 基于当前作业节点创建镜像。CreateJob 创建作业。CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。CreateNodes 集群扩容节点。CreatePool 创建资源池。CreateQueue 新建队列。CreateReservedNodePool ...
一键部署需要的高性能计算环境和应用软件，帮助您快速创建出处理能力出色的集群，创建完成后即可提交作业开始计算。弹性资源 根据需求或任务队列使用率，E-HPC自动识别节点的负载情况，动态调整云上资源。没有作业排队时，自动缩容到配置的...
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
StarRocks 软件栈自身服务的稳定性及服务保障。自定义环境与长期运行的离线作业 需要完全掌控集群资源和配置。EMR on ECS 提供全面的集群和组件服务管控能力，包括但不限于ECS故障补偿、弹性伸缩、智能诊断等。集成 Hadoop、Spark、Flink、...
一键部署需要的高性能计算环境和应用软件，帮助您快速创建出处理能力出色的集群，创建完成后即可提交作业开始计算。弹性资源 根据需求或任务队列使用率，E-HPC自动识别节点的负载情况，动态调整云上资源。没有作业排队时，自动缩容到配置的...
本文以在E-HPC集群中使用GROMACS软件运行水分子算例进行高性能计算为例，介绍如何利用E-HPC Portal快速运行作业。更多关于E-HPC Portal信息，请参见 E-HPC Portal功能概述。准备工作 已创建服务关联角色。首次登录E-HPC控制台，系统会提示...
重要 使用ECS共享资源运行作业前，请务必提前提交 申请表单，申请功能选择 项目使用ECS共享资源，准确填写需要发起作业的项目名称及地域，我们将进行项目的后台参数配置，否则作业会由于无法调度到ECS导致运行失败。ECS共享资源无法支持...
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，便于了解作业运行详情并分析作业运行时的资源负载情况，并对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维当前项目下 历史作业和正在运行的作业。对于数据...
查看作业基础信息及运行参数 您可以在 作业洞察 的 作业概览 页签获取作业的基础信息及运行参数，具体参数说明如下：基础信息 参数名 描述 作业类型 作业的类型，取值如下：SQL：SQL作业。SQLRT：查询加速SQL作业。LOT：MapReduce作业。...
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
通过作业模板，您无需配置作业参数，即可快速创建作业，提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板 创建作业模板时，一个地域下最多可创建20个作业模板。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，...
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
在 新建交互式作业 对话框中，填写 作业名称 和 作业描述，从 作业类型 列表中，选择新建的作业类型。E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业时作业类型一经确定，不能修改。...
升级流程 步骤一：备份作业并部署新作业 为了确保作业运行的稳定性，建议通过克隆创建一个完全相同的新作业，并在新作业上进行作业引擎版本升级。SQL 登录 实时计算管理控制台，单击目标工作空间 操作 列下的 控制台。备份SQL老作业。在 ...
本文以典型场景案例为您介绍如何通过MaxCompute控制台的作业分析功能进行作业级别资源分析，了解作业资源消耗详情，同时为您提供优化作业运行时长的建议。背景信息 当遇到作业运行较长时间仍未结束且通过Logview难以定位原因，或作业运行...
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。本文为您介绍如何管理作业的状态集，包括创建、查看、删除和从指定状态恢复。背景信息 概念 详情 系统检查点（对应Apache Flink中的Checkpoint）生命周期完全由Flink系统...
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
GetValidateDeploymentDraftResult 查询深度检查结果 根据ticketId查询作业草稿深度校验的结果 CreateDeploymentDraft 创建作业草稿 创建SQL作业的作业草稿。UpdateDeploymentDraft 更新作业草稿 更新SQL作业草稿。DeleteDeploymentDraft ...
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
功能 描述 查看作业详情 您可查看E-MapReduce作业的基本信息，包括作业ID、作业状态、运行时间、作业来源、作业所属DataWorks实例等。作业状态说明如下：NEW：表示作业刚创建。NEW_SAVING：表示正在保存作业。SUBMITTED：表示作业已提交...
完成作业开发后，您需要将作业部署。部署将开发和生产隔离，部署后不影响运行中的作业，只有（重新）启动后才会正式上线运行。本文为您介绍如何部署SQL作业、YAML、JAR作业和Python作业。前提条件 已完成作业开发。SQL作业开发，详情请参见...
本文为您介绍MaxCompute SQL作业的智能诊断功能，旨在尽可能提供诊断结果和建议，以协助您解决作业报错问题或提升查询性能，包括如何查看诊断结果和建议，以及解读分析结果。鉴于查询性能受多种因素影响，智能诊断仅提供整体查询性能的部分...
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 不选则表示所有作业类型。作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先...
流任务运维管理平台支持提交、管理作业及作业所需资源，支持不同工作空间之间的作业与资源隔离，以及用户权限管理等功能。本文介绍流任务运维管理平台的基础功能，并通过提交流引擎Jar作业、提交流引擎SQL作业、提交流引擎Python作业的示例...
相关文档 作业开发&作业运维常见问题 作业开发 作业运维 配置作业相关信息 您可以在作业启动前配置作业资源或者作业上线后修改作业资源，支持基础模式（粗粒度）和专家模式（细粒度）两种资源模式，详情请参见 配置作业资源。配置作业日志...
本文介绍E-HPC集群作业的定义、类型以及作业提交方式功能。什么是作业 在E-HPC集群中，作业是指通过命令行命令、Shell脚本或可执行文件形式提交到集群进行高性能计算的基本工作单元。作业的具体运行方式将根据您设置的队列和调度器配置进行...
本文带您快速体验Flink Python流作业和批作业的部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
数据开发 功能集 功能 功能描述 参考文档 作业开发 SQL作业开发 编写SQL作业代码，可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能进行SQL作业开发。SQL作业开发 Flink SQL作业快速入门 使用内置公开数据集快速体验...
完成作业开发和部署后，您需要在作业运维页面启动作业至运行阶段。此外，作业在停止后需要恢复、更新非动态生效的参数配置后需要生效时，也需要启动作业。本文为您介绍如何启动作业。前提条件 已完成作业部署，详情请参见 部署作业。使用...