支持 不支持 不支持 Spark作业开发 支持 不支持 不支持 作业调度-支持 不支持 说明 不具备原生的作业调度能力，仅支持通过DMS、DataWorks等方式进行作业调度。不支持 产品规格 湖仓版（3.0）规格 计算资源 存储资源 最小规格：16 ACU 最大...
实例信息展示 当需要监控工作流生产时，可以通过运维中心的工作流实例来监控，可以看到工作流的运行阶段与作业的运行状态，当出现问题作业时，可以通过点击 详情，查询的日志报错信息，后续和上文中 日志监控 的内容类似。操作界面如下图：...
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在DataWorks中，您可以通过ODPS MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他...
MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在DataWorks中，您可以通过ODPS MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他...
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
概述 Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前支持如下功能：支持以交互式DAG图展示作业处理逻辑架构，您还可以查看相应的Operation层级。支持回放作业运行过程。支持通过Fuxi Sensor查看内存及CPU使用情况。...
E-HPC在管控节点上配置作业调度器。以上流程都依赖于E-HPC服务部署。若您使用ECS管理控制台对节点进行操作，则可能会导致集群或部分节点状态异常，或集群相关资源不可使用等问题。因此不允许使用ECS管理控制台对E-HPC集群的节点进行操作。E...
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
2023-09-25 全部地域 MapReduce支持SQL运行时执行模式 作业分析功能发布 MaxCompute推出作业分析功能，方便开发者定位作业资源问题。2023-09-21 全部地域 作业运维（新版）2023-08 功能名称 功能描述 发布时间 发布地域 相关文档 控制台...
Instance信息部分，您可以单击Status查看当前队列的Status详细信息，包含四种状态：Waiting：说明当前作业正在MaxCompute中处理，并没有提交到分布式调度系统（Fuxi）中运行。Waiting List:n：说明作业已提交至分布式调度系统（Fuxi）排队...
场景二：从某个历史时间点开始执行时序预测作业 在指定的时间点创建时序预测作业后，按照作业规则对历史数据进行处理，算法模型会快速消费历史数据，并逐渐追上当前时间。场景三：修改调度配置 修改调度配置后，下一个实例按照新配置生成。...
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
场景二：从某个历史时间点开始执行下探分析作业 在指定的时间点创建下探分析作业后，按照作业规则对历史数据进行处理，算法模型会快速消费历史数据，并逐渐追上当前时间。场景三：修改调度配置 修改调度配置后，下一个实例按照新配置生成。...
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
运维中心功能模块 当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心对任务进行运维操作，包括周期调度任务的自动调度与手动运行、任务运行详情查看、任务运行状态监控、任务运行使用的资源监控与自动运维；...
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
配置代码模板 2023.6.29 新增功能 数据开发 DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。函数计算节点 2023.6.29 新增功能 管理控制 创建E-MapReduce计算引擎数据源：...
本文为您介绍Mars的功能、与PyODPS DataFrame的区别和使用场景。使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不...
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
StarRocks内部导入：推荐使用 Insert Into 方式导入，跟外部调度器配合实现简单的ETL处理。说明 本文图片和部分内容来源于开源StarRocks的 导入总览。注意事项 向StarRocks导入数据时，通常会采用程序对接的方式。以下是导入数据时的一些...
如果提交作业时设置的Quota Tag和某个Quota组属性中的Quota Tag相等，作业就会被优先调度到这个Quota组中。否则，会被调度到所属项目空间指定的Quota组中。执行如下语句进行设置。set odps.task.quota.preference.tag=payasyougo 说明 该...
StarRocks内部导入：推荐使用 Insert Into 方式导入，跟外部调度器配合实现简单的ETL处理。说明 本文图片和部分内容来源于开源StarRocks的 导入总览。注意事项 向StarRocks导入数据时，通常会采用程序对接的方式。以下是导入数据时的一些...
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
如果提交作业时设置的Quota Tag和某个Quota组属性中的Quota Tag相等，作业就会被优先调度到这个Quota组中。否则，会被调度到所属项目空间指定的Quota组中。执行如下语句进行设置。set odps.task.quota.preference.tag=payasyougo 说明 该...