TaskId String 是 MSnT9*q010101 任务下作业的ID。IotInstanceId String 否 iot-cn-0pp1n8t*实例ID。您可在物联网平台控制台的 实例概览页面，查看当前实例的 ID。重要 若有ID值，必须传入该ID值，否则调用会失败。若无ID值，则无需传入。...
本文为您介绍MaxCompute SQL作业的智能诊断功能，旨在尽可能提供诊断结果和建议，以协助您解决作业报错问题或提升查询性能，包括如何查看诊断结果和建议，以及解读分析结果。鉴于查询性能受多种因素影响，智能诊断仅提供整体查询性能的部分...
下面分别介绍三种作业的优缺点，您可依据业务需求选择相应的作业类型。作业概述 固定集群作业 优点：集群支持分布式缓存，适用大规模作业的场景；缺点：需要您花费精力管理集群资源生命周期。自动集群作业 优点：您无需花费精力管理集群，...
以下内容介绍的是作业的 基础设置、高级设置、共享库 和 告警设置。在 作业编辑 页面，单击右上角的 作业设置。在 作业设置 面板，设置基础信息。配置项 说明 作业概要 作业名称 您创建作业的名称。作业类型 您创建作业的类型。失败重试...
什么是队列 在E-HPC集群中，队列是一个用于管理和调度作业的资源分配单元（计算节点池）。队列定义了作业的优先级、限制和调度策略，并且可以根据用户的需求进行配置。队列可以根据不同的作业类型、用户组或资源需求进行划分，以便更有效地...
本文将为您介绍如何升级实时计算Flink版作业的引擎版本。注意事项 实时计算Flink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情和作业快照（Savepoint）在Flink...
可以通过作业级别资源消耗图表发现，包年包月预留计算资源50 CU已全部被占用，该作业也已经使用了大多数计算资源，但由于整体资源有限，Quota级别的等待CU也居高不下，说明预留计算资源不足以及时消化所有作业的请求，单作业也始终存在未被...
实时计算Flink版VS Code插件基于功能强大的VS Code编辑器，为您打通了本地Flink作业开发全流程，帮助您在本地轻松完成Flink作业的开发、部署及上线，包括SQL、JAR和Python作业，并支持快速从线上同步作业配置。本文为您介绍VS Code插件的...
资源观测提供某段时间内，对多种资源（如数据传输服务、计算资源、存储资源等）的监测情况，您可通过观测各指标的曲线图或图表，优化和调整作业的执行计划及资源配置，提高作业的执行效率和性能。本文为您介绍如何查看MaxCompute的资源使用...
说明 在 状态总览 页签右上角，单击 Flink UI，可以跳转到运行作业的开源 Flink UI 界面查看相关信息。在 状态总览 页签右上角，单击 指标，可以跳转到ARMS指标大盘，ARMS指标大盘默认展示从事件发生时间起30分钟内的指标信息。
平台重大功能变更 类别 变更 详情 新增 支持作业探查功能 说明 使用该功能需要在作业模板或者单作业的高级设置中开启日志归档。支持在控制台上查看Flink作业的启动日志、运行日志和历史的日志。详情请参见 查看历史作业实例日志 和 查看...
在无影云桌面运行E-HPC客户端 该方案适用于需要云上作业前后处理需求的场景，对照线下工作站仿真环境，在无影云桌面中安装作业前后处理所需的软件，实现使用E-HPC客户端进行作业相关操作的同时，可以结合相关前后处理软件进行操作，使用上...
提交作业后，您可以使用E-HPC Portal查询作业数据，包括作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 仅支持查询当前用户提交的作业，不支持查询其他用户提交的作业。...
flink list-t yarn-application-Dyarn.application.id=application_XXXX_YY 返回如下类似信息，其中 4db32b5339e6d64de2a1096c4762*为该作业的 jobId。Running/Restarting Jobs-16.06.2025 18:20:55:4db32b5339e6d64de2a1096c4762*:...
flink-jobs Flink作业的HA（High Available）信息和系统检查点信息会被存储到该目录。flink-savepoints 在 实时计算开发控制台 上单击 创建快照，最终生成的快照文件会被存储到该目录。flink-sessionclusters Session集群的HA信息和系统...
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
对作业的完成时间敏感性越低，越适合使用按量付费闲时版以节省计算成本。而用于生产、要求长期稳定、资源有保障的作业不宜使用按量付费闲时版，因为资源竞争会导致作业资源被挤压、抢占，造成作业长时间等待或运行时间变长、甚至被迫终止，...
本文介绍如何查看企业所有办公终端上安装的软件信息、配置并查看禁用软件以及审核员工提交的禁用软件申请。软件统计 软件统计功能为您全面地、直观地展示企业所有办公终端上的软件安装情况。您可以在终端列表页面，单击 终端名称 查看安装...
NORMAL 常见问题 如何查看BSP作业的状态 如果是通过作业编辑器提交的BSP作业，可在 作业编辑器 SQL开发 页面下方的 执行记录 页签查看。如果不是通过作业编辑器提交的BSP作业，可通过 information_schema.kepler_meta_elastic_job_list 表...
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。...用户的程序、自定义 Docker 镜像、作业的运行日志存储在 OSS 中。
在 执行节点视图 页面，可以查看当前正在运行作业的节点信息。如下图所示，当前地域下有2个执行节点正在运行，每个节点规格为2 vCPU、2 GiB内存和40 GiB存储空间。单击操作列下的对应功能，即可查看对应功能的详细信息。具体操作，请参见 ...
数据迁移：元数据结构同步后，MMS根据迁移作业的配置，生成并提交一个或多个Spark作业在MaxCompute上运行。这些Spark作业从 数据源 拉取数据，并写入MaxCompute的目标表中。该过程由MMS服务托管，无需进行Spark作业的开发和运维。迁移流程 ...
背景信息 MaxCompute是以作业的执行情况作为计量指标，并在作业执行后收取费用。同一账号在一个地域下仅能购买一次按量付费Quota。目前MaxCompute对SQL、MapReduce、Spark、Mars（数据科学）、MCQA（查询加速SQL）和MaxFrame计算类型按量...
在 作业 页面，选择待提交作业的集群。单击页面左侧的 提交作业 页签。在 作业提交模板 列表中，选择已创建的模板，单击页面右上角的 提交作业。编辑作业模板 当作业模板需要修改时，您可以重新编辑作业模板。在 作业提交模板 列表中，选择...
计算资源 资源充足，且无浪费，能够满足所有计算作业的资源需求。不同优先级的作业可以互不干扰，优先保证高优先级的作业获取到足够的计算资源。当某些作业需要处理庞大的数据量且耗费计算资源较多时，可以同时确保其他作业能获取到计算...
名称 类型 描述 示例值 object 本数据结构用来描述一个完整的已部署作业的数据结构。deploymentId string 已部署作业 ID。00000000-0000-0000-0000-0000012312*namespace string 项目空间名称。default-namespace name string 已部署作业...
以下分别展示如何填写创建Spark作业和Pyspark作业的参数：创建Spark作业。新建一个Spark作业，作业名称为Wordcount，应用参数填写示例如下：在命令行下提交完整的命令。spark-submit-master yarn-client-driver-memory 7G-executor-memory ...
true OversoldType string 作业的超卖资源使用方式（不接受/可接受/只接受）。AcceptQuotaOverSold AdvancedSettings object 额外高级参数配置。Driver string NVIDAI 驱动配置。535.54.03 EnableSanityCheck boolean 允许作业开启算力健康...
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
整体任务场景：提交的多个作业为一个整体任务，只关注吞吐和最后完成时间，而不关心单个作业的完成时间。优势 同一时间段内可以运行多个作业。单作业平均运行时间短。风险 单作业平均运行时间长。可能存在一个大作业占用绝大部分资源，导致...
yyyy-MM-dd 2023-05-15 jobOwnerList array 否 作业的执行者列表 item string 否 作业的执行者列表 ALIYUN$xxx@test.aliyunid.com quotaNicknameList array 否 作业使用的配额昵称列表 item string 否 作业使用的配额昵称列表 my_quota ...
hive-sql 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink引擎版本。建议使用带有 推荐 标签的版本，这些版本具有更高的可靠性和性能表现，关于...
获取指定作业的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
您可以通过 DESCRIBE 语句查看指定流作业的状态是否为 RUNNING（运行中）。示例 终止任务 test_datagen2。TERMINATE JOB test_datagen2;结果验证 您可以通过 SHOW JOBS;来查看 test_datagen2 的状态，执行成功后 Job Status 将显示 ...
如果某个SQL作业的运行时间（包含等待时间）超过设定的阈值，系统会按照配置的报警规则将报警信息发送至报警联系人。重要 运行时长小于1分钟的作业无法监控到。作业运行时长_SQL类型_提交人 以 MaxCompute 项目为单位，监控项目下所有 SQL ...
taskId 为任务下作业的ID：{"id":"1234","code":200,"data":{"statusDetails":{"devs":"test","status":"init"},"taskId":"i5Ks*F010101","task":{"taskId":"i5Ks*F010101","status":"IN_PROGRESS","jobDocument":{},"jobFile":{...
相关文档 支持设置算子TTL，更精准的控制各个算子的状态大小，节约大状态作业的使用资源，详情请参见 算子状态生命周期（State TTL）提示 本文档配置的是单个作业的日志，如果您需要对整个项目空间下的作业的日志进行配置，请参见 配置项目...
名称 类型 描述 示例值 object 本数据结构代表已部署作业的启动策略。kind string 启动位点类型。NONE：无状态启动。LATEST_SAVEPOINT：最新的作业快照启动。FROM_SAVEPOINT：从指定快照启动。LATEST_STATE：最新状态启动 LATEST_STATE ...
在 OSS:/mybucket/emr/spark/clusterID/jobs 目录下会按照作业的执行ID存放多个目录，每个目录下存放了这个作业的运行日志文件。读写MaxCompute时，报错 java.lang.RuntimeException.Parse response failed:!DOCTYPE html …’问题分析：...