1.背景 提交作业或者创建集群时，批量计算将使用您指定的镜像来启动实例。...打开批量计算控制台 创建镜像，将制作好的 ECS 镜像（以 m-为前缀）在批量计算进行注册操作，之后提交作业或创建集群均可以使用批量计算镜像（以 img-为前缀）。
本文以Amber软件为例介绍如何在E-HPC上进行分子动力学模拟。背景信息 Amber（Assisted Model Building with Energy Refinement）是一款开源的广泛使用的分子动力学模拟软件，主要用于研究分子系统在生物化学领域的动态性质。它由多个程序...
Q：我有大量渲染作业，但是波峰波谷明显，有什么好建议？A：使用自定义集群，可长期维持在一定数量，满足日常的渲染需求，当波峰来临时，可以提交 AutoCluster 任务或者调高集群规模（波峰过去调低数量），省钱又省力。Q：制作完场景后我要...
同时，请加入MaxQA官方用户支持群（钉钉群号：87535025714），MaxCompute技术团队将协助您解答相关问题。更多公测及具体功能介绍，请参见 查询加速MaxQA操作指南。功能介绍 随着实时、近实时数据分析需求的持续增长，查询响应时间在现代...
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
集群用户用于登录集群，进行编译软件、提交作业等操作。本文创建的用户示例如下：用户名：hpltest 用户组：sudo权限组 安装软件。具体操作，请参见 安装和卸载集群软件。需安装的软件如下：linpack，版本为2018。intel-mpi，版本为2018。...
为了更有效地管理和分配资源，优化作业调度，提升系统利用率，并满足多样化的作业需求，队列成为任务调度中不可或缺的配置项。合理的队列设置能够确保高优先级的任务优先获得所需资源，从而最大化资源利用效率。本文介绍在Slurm系统环境下...
集群用户用于登录集群，进行编译软件、提交作业等操作。本文创建的用户示例如下：用户名：hpltest 用户组：sudo权限组 安装软件。具体操作，请参见 安装软件。需安装的软件如下：linpack，版本为2018。intel-mpi，版本为2018。步骤一：连接...
支持填写 AI作业PID 或 AI作业进程名 指定AI作业，可填写多个 AI作业PID 或 AI作业进程名，多个 AI作业PID 或 AI作业进程名 之间以,分隔。如果同时填写了 AI作业PID 和 AI作业进程名，系统将在执行分析时取其并集进行处理。说明 可以执行 ...
进入 任务管理 页面，可以查询作业列表，包含作业状态，作业操作等。更多内容，请参见 查询作业。多节点执行NCCL 登录E-HPC Portal。具体操作，请参见 登录E-HPC Portal。提交NCCL作业。在顶部导航栏，选择 任务管理，在页面上方，单击 ...
解决方法：pom.xml文件中没有引入相关依赖，大多数情况下可能是flink-connector-base，也可以搜索异常包路径，查看其属于哪个Flink依赖。可能是运行时没有加载provided依赖。需要在IntelliJ IDEA的“Modify options”处勾选“Add ...
AutoDock Vina作为一款开源的分子对接软件，具有速度快、算法准确等优点，特别适用于搭建基于分子对接的虚拟筛选，它基于MGLTools工具包进行使用。MGLTools包括AutoDock Tools（ADT）和Python Molecular Viewer（PMV）。ADT用来为Vina生成...
用户需首先准备好 ACK 集群，随后通过 EMR 在 ACK 的资源上安装并运行大数据服务。主要特点 共享 Kubernetes 集群资源：可将 Spark、Presto 等作业运行在现有的 ACK 集群，与在线业务共享容器资源，实现计算资源跨可用区共享。节省成本：...
背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端能够正确提交作业，恶意用户无法伪装成其他用户侵入到集群当中，能够有效防止恶意冒充客户端提交作业的情况。服务端：集群中的服务都是可以信任的...
使用E-HPC客户端前，集群管理员需要准备好相关环境，包括集群、用户、无影云桌面等配置。配置E-HPC集群 集群管理员需完成以下集群相关配置：创建一个E-HPC集群。具体操作，请参见 使用向导创建集群。说明 对于已有集群，如果没有使用PBS...
AutoDock Vina作为一款开源的分子对接软件，具有速度快、算法准确等优点，特别适用于搭建基于分子对接的虚拟筛选，它基于MGLTools工具包进行使用。MGLTools包括AutoDock Tools（ADT）和Python Molecular Viewer（PMV）。ADT用来为Vina生成...
GROMACS（GROningen MAchine for Chemical Simulations）是一款通用软件，用于对具有数百万颗粒子的系统进行基于牛顿运动方程的分子动力学模拟。GROMACS主要用于生物化学分子，如蛋白质、脂质等具有多种复杂键合相互作用的核酸分析。...
除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。重要 请谨慎分配sudo权限。具有sudo权限的用户如果操作错误（如误删除E-HPC软件栈模块），会导致集群异常。密码、确认密码 Ehpc12*根据页面提示，设置用户使用密码...
Broker Load还好，因为Broker Load针对的场景都是批次大小比较大的情况。导入频率不要太高，SATA盘1s不超过一个任务。Stream Load是否支持识别文本文件中首行的列名？或者是否支持指定不读取第一行？Stream Load不支持识别文本中首行的列名...
Using properties file：如果您此前配置过odpscmd或Studio，本地有已配置好的 odps_config.ini 文件，您可以选择从配置文件中读取AccessKey ID和AccessKey Secret。如果您选择了此种方式，需要上传本地的配置文件 odps_config.ini。Using ...
Broker Load还好，因为Broker Load针对的场景都是批次大小比较大的情况。导入频率不要太高，SATA盘1s不超过一个任务。Stream Load是否支持识别文本文件中首行的列名？或者是否支持指定不读取第一行？Stream Load不支持识别文本中首行的列名...
服务定位：实时计算性能调优服务旨在帮助客户落地稳定健壮的实时方案，从实际业务场景出发，针对异常作业或反压作业设计的调优服务，提供调优方案制定及落地实施服务，帮助企业更好地实现实时监测、实时推荐、实时反作弊等业务场景。...
与full-compaction机制相比，lookup机制的时效性更好，但总体来看耗费的资源更多。推荐在对数据新鲜度有较高要求（分钟级）的情况下使用。full-compaction Paimon主键表会在每一次执行小文件全量合并（full compaction）时，产生完整的变更...
集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名：testuser 用户组：sudo权限组（条件必选）如果您是手动创建集群，则您需要安装 wrf-aocc 软件；否则，请跳过此步骤。具体操作，请参见 安装和卸载...
本文以GROMACS软件为例介绍如何在E-HPC上进行分子动力学模拟。背景信息 GROMACS（GROningen MAchine for Chemical Simulations）是一款通用软件，用于对具有数百万颗粒子的系统进行基于牛顿运动方程的分子动力学模拟。GROMACS主要用于生物...
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
本文介绍如何使用E-HPC集群运行LAMMPS开源仿真软件，以3d Lennard-Jones melt模型进行工业仿真，并通过可视化的方式查看仿真结果。背景信息 LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一款经典分子动力学软件...
您可以在作业启动前配置作业资源或者作业上线后修改作业资源，支持基础模式（粗粒度）和专家模式（细粒度）两种资源模式。本文为您介绍如何配置作业资源，以及两种资源模式下的参数信息。注意事项 资源配置后，需重启作业才能生效。操作...
本文以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。背景信息 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言编程的并行计算...
本文介绍如何使用E-HPC集群运行BWA、GATK、Samtools软件进行基因测序计算。背景信息 生命科学领域内基因测序技术的飞速发展，使得人类发现的基因序列以指数级增长，对于如此数量庞大的基因进行同源性搜寻、比对、变异检查等，往往伴随着...
E-HPC集群集成了Intel oneAPI工具包，该工具包结合HPC软件使用，可以加快构建跨架构应用程序。本文以LAMMPS软件为例，为您演示如何在E-HPC集群下使用Intel oneAPI编译并运行LAMMPS。背景信息 Intel oneAPI是一种开放的、标准的统一编程模型...
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。详情请参见 安装...
步骤五：（可选）进行作业调试 您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。在SQL编辑区域右上方，单击 调试。在 调试 对话框，选择调试集群后，单击 下一步...
通过控制台提交作业时，已在集群中准备好待执行的作业文件。通过命令行提交作业时，集群调度器类型须为SLURM或OpenPBS。通过控制台提交作业 进入 集群详情 页面。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏...
针对作业运行状态描述优化，让您更好理解作业运行状态。自定义监控指标上报渠道 作业启动 性能优化 暂无 缺陷修复 修复SLS连接器在Shard个数变更时没有获取新的Shard列表，导致数据无法读取的问题。修复使用Minibatch AGG导致的[J cannot ...
Spark on MaxCompute作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现Spark on MaxCompute作业...
Spark on MaxCompute作业可通过Local模式、Cluster模式执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现Spark on MaxCompute作业的...
Spark on MaxCompute作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现Spark on MaxCompute作业...
支持展示批作业CU*H的统计信息，通过该指标可以更好的反映批作业的运行性能。支持任务编排界面通过名称模糊搜索已创建的工作流。支持图形化创建Iceberg Catalog。OpenAPI 本次发布包含 2个新增API、2个废弃API及2项缺陷修复。请在升级集群...