参数 描述 作业ID 作业的ID。作业名 提交作业的名称。类型 组件的类型。状态 作业当前的状态。状态包括已提交、执行中、结束、失败、完成中、提交失败、任务无效、等待重试和失败中。模式 提交作业的模式。用户 提交作业的用户。创建时间 ...
DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/yarn-current，配置文件的目录是/etc/taihao-apps/hadoop-conf/，您需要将 yarn-current 目录及 hadoop-conf 目录下载到提交Flink作业的客户端上。然后，在提交Flink作业的客户...
作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先保障高优先级作业的计算资源。当高优先级作业启动时，...
QueryAnalysisJobList 查询模板分析作业 查询模板分析作业，模板分析作业完成后，返回可用的预置模板列表。自定义转码模板接口 API 标题 API概述 AddTemplate 新增自定义转码模版 创建自定义模板，包含容器信息，视频跟音频流等设置。...
INSERT OVERWRITE/TRUNCATE作业会覆盖先结束的INSERT OVERWRITE/TRUNCATE作业的数据。先、后结束的作业都会执行成功。INSERT INTO作业会在先结束的INSERT OVERWRITE/TRUNCATE作业的数据上追加数据。后结束的UPDATE/DELETE作业会报错。后...
WebUI地址 SparkUI界面的访问地址，可以将目标SparkUI地址复制在浏览器地址栏中，通过宽表引擎的用户名和密码登录SparkUI，查看目标Spark作业的详细信息。SparkUI界面的介绍请参见 查看作业运行信息。说明 宽表引擎默认用户名和密码的获取...
云原生多模数据库 Lindorm 计算引擎提供了SparkUI界面，方便您查看Spark作业的运行状态、作业提交时间以及资源使用情况等详细信息。进入SparkUI界面 说明 SparkUI地址获取方法请参见 查看SparkUI地址。关于开源SparkUI界面的详细介绍请参见...
查看作业排队队列 活动状态的作业如果正在排队队列中等待调度，队列位置 会展示当前排队的位置，优先级 会展现作业的全局优先级。说明 在 Running Instances 下的作业状态、队列位置等信息会自动更新，作业结束后会从列表中移除。保存作业...
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
指定时间范围内，所有仍处于“运行中”的作业的运行态数据展示。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
mainResource STRING 是 hdfs:/root/spark-examples_2.12-ldspark-3.1.3-SNAPSHOT.jar Spark作业的执行文件的路径。mainArgs LIST 否[10]Spark作业的执行参数。mainClass STRING 否 org.apache.spark.examples.SparkPi Spark作业的执行的类...
在 创建作业 页面，已自动填充原作业的相关信息。您可以根据业务需求，对这些参数进行必要的修改或替换。有关更多参数信息，请参见 创建作业。参数配置完成后，单击页面下方的 创建作业。创建完成后，已创建的作业将出现在作业列表中。正常...
环境配置 由于DataFlow集群采用YARN部署模式，如果提交Flink作业的客户端不位于DataFlow集群内，您还需要在提交Flink作业的客户端的机器上配置好Hadoop相关的配置项，并设置好相关的环境变量。验证迁移环境 您自建集群的环境可能与DataFlow...
在一些业务场景中，对作业执行和结果产出的先后有要求，例如，关键指标的产出依赖上游某个中间结果的产出时间，此时需要对上游处理的作业设置高优先级，保障该作业的资源。AnalyticDB for MySQL Job型资源组内提供了作业优先级队列的能力，...
在作业详情页面，您可以查看作业的基础信息、任务运行情况和各个执行节点的状态。基本信息：展示了作业ID、作业状态、资源分配策略等基本信息。执行节点情况：展示了运行作业的执行节点情况，包括 总执行任务数、运行中任务数、已完成任务...
est=Estimator(command="python train.py$PAI_USER_ARGS",hyperparameters={"epochs":10,"learning-rate":0.001"batch-size":32,},#more arguments for estimator.)PAI_HPS 您的训练作业的超参信息，会以JSON格式，通过 PAI_HPS 环境变量...
作业名称 作业的名称。如果需要自动下载解压作业文件，解压目录也将以作业名称进行命名。输入文件 作业的输入文件。请先输入命令行标记（例如-input），然后选择输入文件（例如/home/testuser/in.txt）。输出文件 作业的输出文件。请先输入...
当集群作业运行失败或不再需要运行该作业时，您可以选择停止作业。本文介绍如何通过控制台停止集群作业。...相关文档 查看作业的执行情况和日志，以了解作业的执行状况和可能出现的问题。具体操作，请参见 查看操作日志。
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列...在弹出的作业信息面板页，即可查看作业的详细信息，包括作业名称、作业ID、开始时间、最后更新时间、作业运行信息等。
Spark on MaxCompute通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）成功提交作业后，MaxCompute会创建一个Instance，并在日志中打印Instance的Logview和Tracking URL，您可根据Logview或Tracking URL追踪作业的运行...
效果展示 小Q问数对话界面 分析主题设置完成后，会展示在小Q问数对话界面，您可以根据业务需求，选择合适的分析主题进行问数。小Q问数的操作请参见 发起问数。问数资源管理页 在问数资源管理页，可以看到问数资源对应的分析主题。问数资源...
按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步作业的配置且成功启动后才会开始计费。注意事项 执行该操作后，将造成下述影响，请谨慎操作：数据同步作业将停止同步数据，即不再将源库的增量数据变更和结构变更...
本文介绍通过Java SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业的操作步骤。前提条件 JDK为1.8及以上版本。集群的产品系列为 企业版、基础版或湖仓版。已在 AnalyticDB for MySQL 集群中创建Job...
本文主要介绍如何通过Python SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业。前提条件 已安装Python环境，且Python版本为3.7及以上版本。AnalyticDB for MySQL 集群的产品系列为 企业版、基础版或...
本文介绍游戏运营融合分析的场景描述、解决问题、架构图及操作参考链接。场景描述 游戏行业有结构化和非结构化数据融合分析需求的客户。游戏行业有数据实时分析需求的客户，无法接受T+1延迟。对数据成本有一定诉求的客户，希望物尽其用尽量...
注意事项 SQL编辑器中SQL脚本名称和作业名称变更 原平台没有做开发和运维分离，即SQL脚本和上线作业间不存在关联关系，因此SQL脚本和上线作业的命名方式未做一致性要求。新版平台支持开发和运维分离：SQL脚本名和线上作业名一一对应，原SQL...
本文介绍流任务运维管理平台的基础功能，并通过提交流引擎Jar作业、提交流引擎SQL作业、提交流引擎Python作业的示例来演示基本的使用流程。前提条件 已 开通流引擎。基础功能介绍 作业管理 支持创建、修改、删除作业。支持以目录形式组织...
3.查看任务详情 bcs j 1 1#查看作业的第1个任务详情 当然，你也可以使用 bcs j job-00000000573590DB0000224F00000107 task，效果同 bcs j 1 1。4.查看实例详情 bcs j 1 1 0#查看作业的第1个任务的instanceId为0的实例详情，和日志 当然，...
场景一：授予即席分析编辑权限 仅当 编辑权限属性 选择 指定成员 或 全部空间成员 时，权限管理员支持授予本空间的分析师编辑即席分析的权限。在集中授权页面，选择目标工作空间并选定即席分析资源。在右侧的 协同授权 页面，选择编辑权限...
通过HDFS Shell工具查看作业运行日志 计算引擎作业的运行日志会被系统同步并存储至底层的文件引擎中，如果需要查看的计算引擎作业中断，您可以开通 云原生多模数据库 Lindorm 文件引擎，并使用HDFS Shell工具查看作业的运行日志。...
基本设置 参数项 是否必选 说明 作业名称 是 该作业的名称。调度器队列 是 选择集群中执行作业任务的队列。启动Job Array 否 是否启用调度器的Job Array功能。Job Array可自定义选择执行作业的规则。最小值：指定Job Array中任务的起始值。...
多维的数据组合：允许不同维度的拼装，组合形成分面，实现更多维的分析场景。极低的操作门槛：配置成本低，只需要简单的拖拽即可生成具体的表格数据。即使是无任何技术背景的业务人员也可快速构建分析表格。应用场景 随时随地探索数据 业务...
概述 本次发布为实时计算Flink版产品平台升级，从开发和运维两个方面提升您的使用体验：在开发方面，我们提供了代码搜索的能力，方便您能快速找到使用了某个表、UDF等信息的所有作业，实现跨作业的管理，提高管理的效率和能力；同时在作业...
说明 流作业运行过程中，健康分 列能够体现作业健康状况，如果作业的健康分不是100分，则代表作业存在风险。您可以单击健康分数，进行作业智能诊断，查看具体的风险原因及修复建议。详情请参见 作业智能诊断。已完成 批作业或者有限流作业...
提交作业到E-HPC集群后，您可以在控制台查看作业监控数据，包括运行、提交、排队和完成作业数，便于您了解集群内作业的运行情况，及时调整集群规模和作业任务，提升集群工作效率。前提条件 支持作业监控的集群需满足以下条件：调度器为PBS...
本文介绍 MaxCompute 包年包月资源的作业优先级功能，并说明如何开启、设置及查看作业的优先级。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
GetValidateDeploymentDraftResult 查询深度检查结果 根据ticketId查询作业草稿深度校验的结果 CreateDeploymentDraft 创建作业草稿 创建SQL作业的作业草稿。UpdateDeploymentDraft 更新作业草稿 更新SQL作业草稿。DeleteDeploymentDraft ...
分析作业增长趋势 通常费用的增长是由于重复执行或调度属性配置不合理造成作业量暴涨导致。通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。统计各项目每天的作业数量，观察是否存在某些项目作业数量波动较大。通过SQL...
本文将为您介绍如何升级实时计算Flink版作业的引擎版本。注意事项 实时计算Flink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情和作业快照（Savepoint）在Flink...
专业的分析思路：Quick BI模板市场针对多个行业的常见业务场景，例如：销售分析、客户分析、库存分析等，沉淀了行业标准的数据分析指标及专业分析模型，更在模板中融合了Quick BI强大的数据分析功能，帮助您快速、准确地进行数据分析以指导...