什么是队列 在E-HPC集群中，队列是一个用于管理和调度作业的资源分配单元（计算节点池）。队列定义了作业的优先级、限制和调度策略，并且可以根据用户的需求进行配置。队列可以根据不同的作业类型、用户组或资源需求进行划分，以便更有效地...
提交作业后，您可以使用E-HPC Portal查询作业数据，包括作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 仅支持查询当前用户提交的作业，不支持查询其他用户提交的作业。...
flink list-t yarn-application-Dyarn.application.id=application_XXXX_YY 返回如下类似信息，其中 4db32b5339e6d64de2a1096c4762*为该作业的 jobId。Running/Restarting Jobs-16.06.2025 18:20:55:4db32b5339e6d64de2a1096c4762*:...
对作业的完成时间敏感性越低，越适合使用按量付费闲时版以节省计算成本。而用于生产、要求长期稳定、资源有保障的作业不宜使用按量付费闲时版，因为资源竞争会导致作业资源被挤压、抢占，造成作业长时间等待或运行时间变长、甚至被迫终止，...
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
flink-jobs Flink作业的HA（High Available）信息和系统检查点信息会被存储到该目录。flink-savepoints 在 实时计算开发控制台 上单击 创建快照，最终生成的快照文件会被存储到该目录。flink-sessionclusters Session集群的HA信息和系统...
NORMAL 常见问题 如何查看BSP作业的状态 如果是通过作业编辑器提交的BSP作业，可在 作业编辑器 SQL开发 页面下方的 执行记录 页签查看。如果不是通过作业编辑器提交的BSP作业，可通过 information_schema.kepler_meta_elastic_job_list 表...
在 作业 页面，选择待提交作业的集群。单击页面左侧的 提交作业 页签。在 作业提交模板 列表中，选择已创建的模板，单击页面右上角的 提交作业。编辑作业模板 当作业模板需要修改时，您可以重新编辑作业模板。在 作业提交模板 列表中，选择...
背景信息 MaxCompute是以作业的执行情况作为计量指标，并在作业执行后收取费用。同一账号在一个地域下仅能购买一次按量付费Quota。目前MaxCompute对SQL、MapReduce、Spark、Mars（数据科学）、MCQA（查询加速SQL）和MaxFrame计算类型按量...
若消费过程中，由于快照过期时间太短或消费作业效率较低等原因，导致消费作业的消费速率跟不上快照文件的过期速度，正在消费的快照文件因过期被删除，则消费作业将会报错。此时请考虑 调整快照文件过期时间、指定Consumer ID 或 Paimon性能...
背景信息 Flink Advisor作业智能诊断服务实时监控作业的健康状况并计算健康分数。健康分满分为100，平台会统计和分析最近半小时内作业情况，根据作业命中诊断风险的个数及风险等级进行相应扣分。从开发到运维全流程，它提供了作业看护和...
数据迁移：元数据结构同步后，MMS根据迁移作业的配置，生成并提交一个或多个Spark作业在MaxCompute上运行。这些Spark作业从 数据源 拉取数据，并写入MaxCompute的目标表中。该过程由MMS服务托管，无需进行Spark作业的开发和运维。迁移流程 ...
在 执行节点视图 页面，可以查看当前正在运行作业的节点信息。如下图所示，当前地域下有2个执行节点正在运行，每个节点规格为2 vCPU、2 GiB内存和40 GiB存储空间。单击操作列下的对应功能，即可查看对应功能的详细信息。具体操作，请参见 ...
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。...用户的程序、自定义 Docker 镜像、作业的运行日志存储在 OSS 中。
计算资源 资源充足，且无浪费，能够满足所有计算作业的资源需求。不同优先级的作业可以互不干扰，优先保证高优先级的作业获取到足够的计算资源。当某些作业需要处理庞大的数据量且耗费计算资源较多时，可以同时确保其他作业能获取到计算...
以下分别展示如何填写创建Spark作业和Pyspark作业的参数：创建Spark作业。新建一个Spark作业，作业名称为Wordcount，应用参数填写示例如下：在命令行下提交完整的命令。spark-submit-master yarn-client-driver-memory 7G-executor-memory ...
本文介绍如何查看企业所有办公终端上安装的软件信息、配置并查看禁用软件以及审核员工提交的禁用软件申请。软件统计 软件统计功能为您全面地、直观地展示企业所有办公终端上的软件安装情况。您可以在终端列表页面，单击 终端名称 查看安装...
数据摄入是基于Flink CDC实现的、通过开发YAML作业的形式将数据从源端同步到目标端的一站式数据同步框架，实现从异构数据源端到数据目标端的精准高效同步，提供毫秒级延迟的全增量一体化接入能力，在零代码开发前提下满足实时数据同步、...
true OversoldType string 作业的超卖资源使用方式（不接受/可接受/只接受）。AcceptQuotaOverSold AdvancedSettings object 额外高级参数配置。Driver string NVIDAI 驱动配置。535.54.03 EnableSanityCheck boolean 允许作业开启算力健康...
获取指定作业的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
整体任务场景：提交的多个作业为一个整体任务，只关注吞吐和最后完成时间，而不关心单个作业的完成时间。优势 同一时间段内可以运行多个作业。单作业平均运行时间短。风险 单作业平均运行时间长。可能存在一个大作业占用绝大部分资源，导致...
hive-sql 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink引擎版本。建议使用带有 推荐 标签的版本，这些版本具有更高的可靠性和性能表现，关于...
全托管存储凭借自动化运维、弹性资源调配、数据可视化及高性能存储等优势，为Flink作业的稳定性和效率提供强大支撑。公测说明 公测时间：自2024年8月1日开始，全托管存储开始进行公测。开通方法：在开通Flink工作空间时，将 存储类型 选择...
如果某个SQL作业的运行时间（包含等待时间）超过设定的阈值，系统会按照配置的报警规则将报警信息发送至报警联系人。重要 运行时长小于1分钟的作业无法监控到。作业运行时长_SQL类型_提交人 以 MaxCompute 项目为单位，监控项目下所有 SQL ...
相关文档 支持设置算子TTL，更精准的控制各个算子的状态大小，节约大状态作业的使用资源，详情请参见 算子状态生命周期（State TTL）提示 本文档配置的是单个作业的日志，如果您需要对整个项目空间下的作业的日志进行配置，请参见 配置项目...
作业运维 是否有类似ptkill的方法批量中止超时作业的操作？如何删除已经创建的MaxCompute项目？您可以通过阿里云账号（主账号）或具备项目 Super_Administrator 角色的RAM用户账号登录MaxCompute控制台删除MaxCompute项目。详细操作信息，...
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
在 OSS:/mybucket/emr/spark/clusterID/jobs 目录下会按照作业的执行ID存放多个目录，每个目录下存放了这个作业的运行日志文件。读写MaxCompute时，报错 java.lang.RuntimeException.Parse response failed:!DOCTYPE html …’问题分析：...
yyyy-MM-dd 2023-05-15 jobOwnerList array 否 作业的执行者列表 item string 否 作业的执行者列表 ALIYUN$xxx@test.aliyunid.com quotaNicknameList array 否 作业使用的配额昵称列表 item string 否 作业使用的配额昵称列表 my_quota ...
taskId 为任务下作业的ID：{"id":"1234","code":200,"data":{"statusDetails":{"devs":"test","status":"init"},"taskId":"i5Ks*F010101","task":{"taskId":"i5Ks*F010101","status":"IN_PROGRESS","jobDocument":{},"jobFile":{...
系统会根据作业的计算逻辑按需自动生成Statebackend、Python和Operator所需的内存，无需您手动进行配置。说明 建议Source节点并发度和分区数成比例，即并发度数能整除分区数。例如Kafka有16个分区，则并发度建议设置为16、8或4，这样可以...
您可以通过 DESCRIBE 语句查看指定流作业的状态是否为 RUNNING（运行中）。示例 终止任务 test_datagen2。TERMINATE JOB test_datagen2;结果验证 您可以通过 SHOW JOBS;来查看 test_datagen2 的状态，执行成功后 Job Status 将显示 ...
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
配置自动调优 支持定时计划 对比原有的定时调优策略，您可以设置多个定时计划，并在不停止作业的情况下切换定时计划，一个定时计划下也可以包含多个定时策略。配置自动调优 支持SQL数据血缘能力 通过查看血缘关系，您可以找到使用某张表的...
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
名称 类型 描述 示例值 object 本数据结构代表已部署作业的启动策略。kind string 启动位点类型。NONE：无状态启动。LATEST_SAVEPOINT：最新的作业快照启动。FROM_SAVEPOINT：从指定快照启动。LATEST_STATE：最新状态启动 LATEST_STATE ...
yarn-client方式（默认）streaming-sql-f test.sql yarn-cluster方式 streaming-sql-master yarn-deploy-mode cluster-f test.sql 查看作业信息 Spark官方发布的Structured Streaming功能，暂不支持查看具体Structured Streaming作业的运行...
my_quota quotaType string quota 类型 subscription cuUsage integer cu 使用总量 10 memoryUsage integer 内存使用总量 40 cuSnapshot number 作业的 cu 快照占比 0.48 memorySnapshot number 作业的内存快照占比 0.42 statusSnapshot ...
（可选）步骤五：更新Spark作业 如需修改Spark作业的参数，您可以更新Spark作业的清单文件。编辑资源清单文件 spark-pi.yaml，例如将作业参数 arguments 修改为 10000，executor 数量修改为 2。apiVersion:sparkoperator.k8s.io/v1beta2 ...