实时计算Flink版VS Code插件基于功能强大的VS Code编辑器，为您打通了本地Flink作业开发全流程，帮助您在本地轻松完成Flink作业的开发、部署及上线，包括SQL、JAR和Python作业，并支持快速从线上同步作业配置。本文为您介绍VS Code插件的...
Graph：应用的分析步骤的图形化展示。运行参数：应用不同使用场景下的参考输入 历史版本：应用的所有可用版本 可用区域：应用能够支持使用的区域信息，“全球”代表所有平台区域都可使用。安装到工作空间使用 用户可以选择需要的应用，直接...
本文为您介绍智能对话分析服务关联角色（AliyunServiceRoleForSCA）的应用场景以及如何删除服务关联角色。背景信息 智能对话分析关联角色（AliyunServiceRoleForSCA）是在某些情况下，为了完成智能对话分析自身的某个功能，需要获取其他...
提交作业后，您可以使用E-HPC Portal查询作业数据，包括作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 仅支持查询当前用户提交的作业，不支持查询其他用户提交的作业。...
flink list-t yarn-application-Dyarn.application.id=application_XXXX_YY 返回如下类似信息，其中 4db32b5339e6d64de2a1096c4762*为该作业的 jobId。Running/Restarting Jobs-16.06.2025 18:20:55:4db32b5339e6d64de2a1096c4762*:...
说明 在 状态总览 页签右上角，单击 Flink UI，可以跳转到运行作业的开源 Flink UI 界面查看相关信息。在 状态总览 页签右上角，单击 指标，可以跳转到ARMS指标大盘，ARMS指标大盘默认展示从事件发生时间起30分钟内的指标信息。
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
在 作业 页面，选择待提交作业的集群。单击页面左侧的 提交作业 页签。在 作业提交模板 列表中，选择已创建的模板，单击页面右上角的 提交作业。编辑作业模板 当作业模板需要修改时，您可以重新编辑作业模板。在 作业提交模板 列表中，选择...
Java GC日志分析展示分析视图的分析结果，本文将介绍分析视图的主要功能，帮助用户快速理解分析视图。分析视图简介 视图选项 视图简介 基础信息 基础信息部分展示GC日志的一些基础信息，包括GC算法，GC线程数，日志覆盖的时间段，当前所选...
1.ATP自动失败探测 在使用Java GC日志分析过程中，偶尔您可能会遇到分析失败的情况，如下图所示：ATP会尝试尽可能探测分析错误，并给出失败原因和潜在解决方案，您可以点击分析细节查看：或者您也可以参考本文剩余部分尝试解决。2.常见分析...
若消费过程中，由于快照过期时间太短或消费作业效率较低等原因，导致消费作业的消费速率跟不上快照文件的过期速度，正在消费的快照文件因过期被删除，则消费作业将会报错。此时请考虑 调整快照文件过期时间、指定Consumer ID 或 Paimon性能...
数据迁移：元数据结构同步后，MMS根据迁移作业的配置，生成并提交一个或多个Spark作业在MaxCompute上运行。这些Spark作业从 数据源 拉取数据，并写入MaxCompute的目标表中。该过程由MMS服务托管，无需进行Spark作业的开发和运维。迁移流程 ...
以下分别展示如何填写创建Spark作业和Pyspark作业的参数：创建Spark作业。新建一个Spark作业，作业名称为Wordcount，应用参数填写示例如下：在命令行下提交完整的命令。spark-submit-master yarn-client-driver-memory 7G-executor-memory ...
计算资源 资源充足，且无浪费，能够满足所有计算作业的资源需求。不同优先级的作业可以互不干扰，优先保证高优先级的作业获取到足够的计算资源。当某些作业需要处理庞大的数据量且耗费计算资源较多时，可以同时确保其他作业能获取到计算...
获取指定作业的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
true OversoldType string 作业的超卖资源使用方式（不接受/可接受/只接受）。AcceptQuotaOverSold AdvancedSettings object 额外高级参数配置。Driver string NVIDAI 驱动配置。535.54.03 EnableSanityCheck boolean 允许作业开启算力健康...
整体任务场景：提交的多个作业为一个整体任务，只关注吞吐和最后完成时间，而不关心单个作业的完成时间。优势 同一时间段内可以运行多个作业。单作业平均运行时间短。风险 单作业平均运行时间长。可能存在一个大作业占用绝大部分资源，导致...
hive-sql 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink引擎版本。建议使用带有 推荐 标签的版本，这些版本具有更高的可靠性和性能表现，关于...
全托管存储凭借自动化运维、弹性资源调配、数据可视化及高性能存储等优势，为Flink作业的稳定性和效率提供强大支撑。公测说明 公测时间：自2024年8月1日开始，全托管存储开始进行公测。开通方法：在开通Flink工作空间时，将 存储类型 选择...
相关文档 支持设置算子TTL，更精准的控制各个算子的状态大小，节约大状态作业的使用资源，详情请参见 算子状态生命周期（State TTL）提示 本文档配置的是单个作业的日志，如果您需要对整个项目空间下的作业的日志进行配置，请参见 配置项目...
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
系统会根据作业的计算逻辑按需自动生成Statebackend、Python和Operator所需的内存，无需您手动进行配置。说明 建议Source节点并发度和分区数成比例，即并发度数能整除分区数。例如Kafka有16个分区，则并发度建议设置为16、8或4，这样可以...
配置自动调优 支持定时计划 对比原有的定时调优策略，您可以设置多个定时计划，并在不停止作业的情况下切换定时计划，一个定时计划下也可以包含多个定时策略。配置自动调优 支持SQL数据血缘能力 通过查看血缘关系，您可以找到使用某张表的...
my_quota quotaType string quota 类型 subscription cuUsage integer cu 使用总量 10 memoryUsage integer 内存使用总量 40 cuSnapshot number 作业的 cu 快照占比 0.48 memorySnapshot number 作业的内存快照占比 0.42 statusSnapshot ...
历史记录 单击目标作业所在行的 历史记录，可以查看流式作业的运行记录。查看审计日志 您可以通过以下步骤查看项目成员在项目中的操作历史。进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，...
RequestId string 创建转码作业的请求 ID*11-DB8D-4A9A-875B-275798*Message string 作业失败详细信息 The resource operated"%s"cannot be found FinishTime string 任务结束时间，格式为 yyyy-MM-dd T HH:mm:ss Z（UTC 时间）。...
job-xxxx TaskSpec array object 否 待删除作业的任务详情。object 否 待删除作业的任务详情。TaskName string 否 待删除的任务名称。task0 ArrayIndex array 否 待删除的数组作业索引列表。integer 否 数组作业索引。1 ExecutorIds array ...
说明 Spark SQL提交作业的模式默认是Yarn-client模式。此类型的作业，实际是通过以下方式提交的Spark SQL作业运行。spark-sql[options][cli options]{SQL_CONTENT} 参数描述如下表。参数 说明 options 在 作业设置 面板的 高级设置 页签，...
图表概述 使用场景 常用于宏观指标的分析，可以分析年度、季度、月度、周、财年近7天的数据，并可以对单个指标进一步的对比、趋势、均值、归一分析。效果图示例 核心优势 多维度分析：支持日/周/月/年等时间粒度对比（同比/环比）目标管理...
本文带您快速体验Flink Python流作业和批作业的部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 创建集群。...
查看作业结果 创建作业完成后，您可查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。具体操作，请参见 查询作业 和 运行VNCViewer可视化访问集群。
您可以通过以下两种方式进行资源调优：通过自动调优功能，来动态调整作业的资源，详情请参见 配置自动调优。手动资源配置，详情请参见 配置作业资源。单击 启动。常见问题 Q：如果迁移失败，应该如何处理？A：您可以单击 迁移失败，查看...
作业类型 INSERT OVERWRITE/TRUNCATE（后结束）INSERT INTO（后结束）UPDATE/DELETE（后结束）MINOR COMPACT（后结束）MAJOR COMPACT（后结束）INSERT OVERWRITE/TRUNCAT（先结束）先、后结束的作业都会执行成功。后结束的结果会覆盖先结束...
在即席分析创建后，为实现多人协作和信息同步的协同工作方式，您需要继续保存并发布即席分析。当即席分析信息过旧或不再需要使用某一即席分析时，您也可以选择下线并删除该即席分析。本文将为您介绍即席分析的保存、保存并发布、发布后查看...
作业启动后，如果您需要进行作业的数据溯源和追踪，定位问题或者评估影响面，请参见 查看血缘关系。如果您需要了解企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。...
您可以在 图表设计 的 分析 页签中的 弹出趋势设置 中，配置趋势分析图。配置项 说明 开启日趋势 和 开启月趋势 开启后，您可以在趋势分析图上查看指标的日趋势和月度趋势。数据对比分析 包含 去年同期、上月同期、上周同期 和 前一天 和 ...
多集群Gang调度：通过预占或动态资源检测，实现作业的多集群Gang调度，确保任务下发到子集群后能够调度，提升任务调度效率。多租户配额管理：用户可以使用ElasticQuotaTree提供的基于Namespace的资源管理，在多租户场景下限制各租户的资源...
通过阿里云日志服务收集Spark作业的日志详情，请参见 使用日志服务收集Spark作业日志。在EMR on ACK中设置Spark集群的元数据详情，请参见 为Spark集群设置元数据。使用ECI弹性调度Spark作业详情，请参见 使用ECI弹性调度Spark作业。
重要 如果单个TaskManager资源过小，则可能影响其上作业的稳定性，并且由于其Slot数目不多，无法有效平摊TaskManager的开销，降低了资源的利用效率。如果单个TaskManager资源过大，则TaskManager上运行的作业数会很多，一旦TaskManager发生...