工作流开源

_相关内容

分布式工作流Argo集群概述

分布式工作流Argo集群(简称 工作流集群 或Serverless Argo Workflows)采用无服务器模式,使用阿里云容器计算服务ACS/弹性容器实例ECI运行工作流,通过优化开源工作流引擎性能及Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时...

通过DolphinScheduler提交Spark任务

DolphinScheduler是一款分布式、易扩展的可视化DAG工作流任务调度开源系统,能高效地执行和管理大数据流程。本文为您介绍如何通过DolphinScheduler Web界面轻松创建、编辑、调度Spark作业。背景信息 当前,Apache DolphinScheduler的...

管理工作流

查看运行状态 您可以在目标工作流工作流运行状态 和 工作流节点运行状态 列中,查看该工作流运行的所有工作流实例和节点的运行状态。工作流运行状态 状态 说明 蓝色 运行中 绿色 运行成功 红色 运行失败 紫色 等待中 工作流节点运行状态...

管理工作流实例

工作流实例是工作流定义的实例化,可以通过手动启动或定时调度生成。当工作流被触发执行时,工作流定义就会实例化成为一个工作流实例。本文为您介绍工作流实例的相关操作。前提条件 已创建并运行工作流,详情请参见 创建工作流 和 运行工作...

Workflow 工作流支持提交至集群模板执行

EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行,工作流运行时会根据模板创建集群,工作流结束后释放集群,帮助用户降低集群使用成本。产品文档 管理集群或模板

Serverless Spark支持工作流补数

Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理

工作流编辑

背景信息 本文为您提供工作流编辑的相关操作介绍,具体如下:新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目,详情请参见 项目管理。已编辑好作业,详情请参见 作业编辑。新建...

管理工作流定义

工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG(有向无环图)。本文为您介绍如何创建工作流工作流定义的相关操作。前提条件 已新建项目,详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...

运维中心

本文介绍通过运维中心管控工作流调度任务、监控任务运行状态、查看工作流记录和审计日志,便于您对工作流的管理和运维。背景信息 本文为您介绍运维中心的相关操作,具体如下:查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已...

工作流快速入门

本文为您介绍如何通过EMR Workflow的可视化操作界面来管理工作流和任务。前提条件 已完成系统角色授权,详情请参见 EMR Workflow角色授权。已在EMR on ECS页面创建集群或集群模板,详情请参见 创建集群 或 创建集群模板。支持绑定的集群...

管理工作流实例和节点实例

工作流创建后,您可以对已有的工作流实例和节点进行操作。本文为您介绍如何查看工作流实例、节点日志等。前提条件 已创建并运行工作流,详情请参见 管理工作流。查看工作流实例 进入任务编排页面。登录 E-MapReduce控制台。在左侧导航栏,...

克隆工作流

调用CloneFlow接口克隆工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlow 系统...

暂停工作流

调用SuspendFlow接口,暂停工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

SparkSQL开发快速入门

单击 工作流实例列表 区域的 工作流运行ID,或单击上方的 工作流实例图 页签,可以查看对应的工作流实例图。单击目标节点实例,在弹出的节点信息框中,您可以根据需要操作或查看信息。关于此部分内容的相关操作及详细介绍,请参见 查看节点...

修改工作流

调用ModifyFlow接口修改工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyFlow ...

恢复工作流

调用ResumeFlow接口,恢复暂停的工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

StartProcessInstance-手动运行工作流

手动运行工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action 元素中使用,...

删除工作流

调用DeleteFlow接口,删除工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow ...

提交运行工作流

调用SubmitFlow,提交运行工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SubmitFlow ...

重试工作流

调用RerunFlow接口,重新执行已经结束的工作流实例。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

创建工作流

调用CreateFlowForWeb接口,创建工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

参数说明

EMR Workflow支持配置内置时间参数、任务级别参数(本地参数)、工作流级别参数(全局参数)和项目级别参数,同时还支持参数传递功能。参数配置 内置时间参数 参数定义 内置时间参数无需定义,可以直接在任务中使用。参数使用 EMR Workflow...

查询工作流实例列表

调用ListFlowInstance接口,查询工作流实例列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

UpdateProcessDefinitionWithSchedule-更新工作流定义...

更新工作流定义和定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action 元素...

创建集群模板

在使用数据开发工作流完成作业任务时,如果您只关注作业任务是否完成,可以使用集群模板功能来快速建立集群,调度系统会在工作流启动时按照模板创建一个集群,然后将作业下发到该集群上执行。当工作流结束后,调度系统会自动释放该集群。...

CreateProcessDefinitionWithSchedule-创建工作流定义...

创建工作流定义。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action 元素中使用,...

查询工作流目录

调用ListFlowCategory接口,展示工作流目录。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

GenerateTaskCodes-生成工作流节点定义编码

上线工作流及其调度 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/dolphinscheduler/projects/{...

查询工作流列表

调用ListFlow接口,查询工作流列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFlow ...

创建工作流目录文件夹

调用CreateFlowCategory接口,创建工作流目录文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

删除工作流目录

调用DeleteFlowCategory接口,删除工作流目录。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是...

修改图形信息的工作流

调用ModifyFlowForWeb接口,修改带有图形信息的工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

运行工作流

本文介绍如何通过OpenAPI的方式创建工作流、运行作业,并查看执行结果和日志。前提条件 已创建集群,详情请参见 创建集群。已获取集群ID,详情请参见 查看集群列表与详情。已创建AccessKey,详情请参见 获取AccessKey。已获取相应的SDK,...

查询工作流信息

调用DescribeFlow接口,查询工作流信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

查询工作流节点实例列表

调用ListFlowNodeInstance接口,查询工作流节点实例列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...

获取工作流实例信息

调用DescribeFlowInstance接口,获取工作流实例信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

动态启动计算集群运行工作流调度

本文为您介绍如何通过EMR集群的模板功能为EMR Studio动态拉起计算集群来运行工作流,该计算集群会在调度完成后自动释放。前提条件 已创建EMR Studio集群。创建集群详情,请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全...

查询节点实例详情

调用DescribeFlowNodeInstance接口,查询节点实例(工作流节点实例和作业运行节点实例)详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 ...

快速使用EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。本文以...

什么是EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据湖仓,并为生产任务的稳定运行提供保障。产品优势 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用