调度器 调度器指集群上调度作业的软件。自动伸缩 E-HPC自动伸缩可以根据您配置的伸缩策略动态分配计算节点，系统可以根据实时负载自动增加或减少计算节点。这可以帮您合理利用资源，减少使用成本。自定义服务 支持安装自定义服务组件，能与...
调度器 调度器指集群上调度作业的软件。域账号 E-HPC支持创建NIS和LDAP两种域账号服务。NIS：网络信息服务（Network Information Service），是一种集中身份管理的方式。您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用...
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
应用：选择用于执行作业的软件环境，支持 公共 或 自定义 应用。若要跨地域使用自定义应用，需要先将其 同步。执行命令：填写执行计算任务的脚本内容。以#!开头，后面添加执行程序，例如#!bin/bash 配置执行策略：定义计划的资源需求和地域...
调度器 调度器是集群上调度作业的软件。E-HPC支持的调度器如下：类型 调度器 控制台显示 PBS PBS Pro19 pbs19 PBS Pro18 pbs 说明 由选择的镜像决定安装的调度器软件版本。OpenPBS 20 OpenPBS 22 Slurm Slurm 22 slurm22 Slurm 20 slurm20 ...
调度器是集群上调度作业的软件。E-HPC支持的调度器类型如下：调度器类型 简要介绍 SLURM 一个开源的、高性能的集群管理和作业调度系统，广泛用于Linux和Unix系统，支持多种调度策略。OpenPBS 一个开源的作业调度系统，支持多种操作系统，...
工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，并设置资源的默认配置，以及输入输出的格式。提交 App 作业：提交作业时，按照上述资源配置启动虚拟机镜像或 Docker 镜像，使用用户输入的数据运行软件...
会覆盖vCPU和内存设置 计算存储 计算作业的本地化的输入和输出文件存储 NAS容量型 disks:"local-disk 20G nas_cap"可作为数据盘使用，参考 设置运行时属性 NAS性能型 disks:"local-disk 100G nas_per"ESSD云盘 disks:"local-disk 100G ...
会覆盖vCPU和内存设置 计算存储 计算作业的本地化的输入和输出文件存储 NAS容量型 disks:"local-disk 20G nas_cap"可作为数据盘使用，参考 设置运行时属性 NAS性能型 disks:"local-disk 100G nas_per"ESSD云盘 disks:"local-disk 100G ...
创建集群时，您需要配置集群的硬件配置、软件配置、基础配置等信息。本文介绍如何在E-HPC控制台使用向导创建集群。前提条件 已创建服务关联角色。首次登录E-HPC控制台，系统会提示您创建E-HPC服务关联角色。已创建专有网络VPC和交换机。...
类别 名称 说明 相关文档 新增 自定义Spark镜像 当Spark默认镜像无法满足您的需求时，您可以基于默认镜像，将Spark作业需要的软件包和依赖项打包到镜像中，生成自定义镜像，并在Spark作业开发时，指定自定义镜像作为Spark作业的执行环境。...
示例如下：QPATH=usr/bin QPROFILE=QSUB=sbatch QDEL=scancel QSTAT=squeue LICENSE_CHECKING=yes REMOTE_LICENSE_SERVER=schrodinge_ehpc-test 执行以下命令，修改Schrodinger软件的hosts文件配置。vim/opt/schrodinger/schrodinger.hosts...
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
App 信息：首选要选择提交作业的 App，然后填充 App 的信息，分为四个方面：Inputs：App 作业的输入参数，具体参数由 App 定义，可以是 OSS 路径，也可以是其他自定义参数。OutPuts：App 作业的输出参数，具体参数由 App 定义，可以是 OSS ...
参数 描述 作业ID 作业的ID。作业名 提交作业的名称。类型 组件的类型。状态 作业当前的状态。状态包括已提交、执行中、结束、失败、完成中、提交失败、任务无效、等待重试和失败中。模式 提交作业的模式。用户 提交作业的用户。创建时间 ...
USER_JOBS 视图提供当前用户拥有的所有作业的信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
ALL_JOBS 视图提供位于数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于...
DBA_JOBS视图提供数据库中的所有作业的相关信息。说明 DBA_JOBS视图需要使用超级用户创建DBMS_JOB插件，如您有相应需求，请 联系我们 处理。名称 类型 说明 job INTEGER 作业的标识符（作业ID）。log_user TEXT 提交了作业的用户的名称。...
本文介绍E-HPC集群作业的定义、类型以及作业提交方式功能。什么是作业 在E-HPC集群中，作业是指通过命令行命令、Shell脚本或可执行文件形式提交到集群进行高性能计算的基本工作单元。作业的具体运行方式将根据您设置的队列和调度器配置进行...
作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先保障高优先级作业的计算资源。当高优先级作业启动时，...
查看作业基础信息及运行参数 您可以在 作业洞察 的 作业概览 页签获取作业的基础信息及运行参数，具体参数说明如下：基础信息 参数名 描述 作业类型 作业的类型，取值如下：SQL：SQL作业。SQLRT：查询加速SQL作业。LOT：MapReduce作业。...
INSERT OVERWRITE/TRUNCATE作业会覆盖先结束的INSERT OVERWRITE/TRUNCATE作业的数据。先、后结束的作业都会执行成功。INSERT INTO作业会在先结束的INSERT OVERWRITE/TRUNCATE作业的数据上追加数据。后结束的UPDATE/DELETE作业会报错。后...
对于数据开发人员，作业运维功能便于日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。对于管理员，作业运维功能便于日常结合配额组查看某时刻的资源负载，合理分配和管理系统资源，...
您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。使用限制 仅支持对DataWorks中的EMR引擎作业进行运维，并且您需要 提交工单 ...
WebUI地址 SparkUI界面的访问地址，可以将目标SparkUI地址复制在浏览器地址栏中，通过宽表引擎的用户名和密码登录SparkUI，查看目标Spark作业的详细信息。SparkUI界面的介绍请参见 查看作业运行信息。说明 宽表引擎默认用户名和密码的获取...
云原生多模数据库 Lindorm 计算引擎提供了SparkUI界面，方便您查看Spark作业的运行状态、作业提交时间以及资源使用情况等详细信息。进入SparkUI界面 说明 SparkUI地址获取方法请参见 查看SparkUI地址。关于开源SparkUI界面的详细介绍请参见...
查看作业排队队列 活动状态的作业如果正在排队队列中等待调度，队列位置 会展示当前排队的位置，优先级 会展现作业的全局优先级。说明 在 Running Instances 下的作业状态、队列位置等信息会自动更新，作业结束后会从列表中移除。保存作业...
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
指定时间范围内，所有仍处于“运行中”的作业的运行态数据展示。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
Flink的状态管理是一个复杂而关键的领域，涉及到作业的性能、稳定性和资源利用等多个方面。通过对状态生成机制和优化策略地深入理解与正确应用，结合实时计算Flink版提供的产品能力，可以帮您有效地优化Flink作业以应对大规模状态作业带来...
Users array 否 执行作业的用户列表信息。string 否 执行作业的用户名。支持模糊查询。可通过调用 ListUsers 获取该集群中的用户名。testuser1 Queues array 否 执行作业的队列列表信息。string 否 执行作业的队列名称。支持模糊查询。comp...
mainResource STRING 是 hdfs:/root/spark-examples_2.12-ldspark-3.1.3-SNAPSHOT.jar Spark作业的执行文件的路径。mainArgs LIST 否[10]Spark作业的执行参数。mainClass STRING 否 org.apache.spark.examples.SparkPi Spark作业的执行的类...
在 创建作业 页面，已自动填充原作业的相关信息。您可以根据业务需求，对这些参数进行必要的修改或替换。有关更多参数信息，请参见 创建作业。参数配置完成后，单击页面下方的 创建作业。创建完成后，已创建的作业将出现在作业列表中。正常...
环境配置 由于DataFlow集群采用YARN部署模式，如果提交Flink作业的客户端不位于DataFlow集群内，您还需要在提交Flink作业的客户端的机器上配置好Hadoop相关的配置项，并设置好相关的环境变量。验证迁移环境 您自建集群的环境可能与DataFlow...
在一些业务场景中，对作业执行和结果产出的先后有要求，例如，关键指标的产出依赖上游某个中间结果的产出时间，此时需要对上游处理的作业设置高优先级，保障该作业的资源。AnalyticDB for MySQL Job型资源组内提供了作业优先级队列的能力，...
在作业详情页面，您可以查看作业的基础信息、任务运行情况和各个执行节点的状态。基本信息：展示了作业ID、作业状态、资源分配策略等基本信息。执行节点情况：展示了运行作业的执行节点情况，包括 总执行任务数、运行中任务数、已完成任务...
est=Estimator(command="python train.py$PAI_USER_ARGS",hyperparameters={"epochs":10,"learning-rate":0.001"batch-size":32,},#more arguments for estimator.)PAI_HPS 您的训练作业的超参信息，会以JSON格式，通过 PAI_HPS 环境变量...
DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等...
作业名称 作业的名称。如果需要自动下载解压作业文件，解压目录也将以作业名称进行命名。输入文件 作业的输入文件。请先输入命令行标记（例如-input），然后选择输入文件（例如/home/testuser/in.txt）。输出文件 作业的输出文件。请先输入...
logs 如果您作业的 日志模板 选择了 OSS，则您的作业的日志会被存储到该目录。说明 logs 目录下作业存储路径为：logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM（Job Manager）和TM（Task Manager）日志。...