通过优化Kubernetes集群参数,同时配合抢占式ECI实例,实现大规模工作流的高效弹性调度及成本优化。本文介绍 工作流集群 的快速使用流程和文档使用指引。快速使用流程 文档使用指引 基础功能 功能 相关文档 创建工作流集群并获取集群...
功能说明 DataWorks提供了两种类型的工作流:周期工作流、触发式工作流,以满足不同的业务需求。周期工作流:适用于需要定期调度运行的场景。您可以通过配置调度规则(如按小时、天、周等周期性运行),让工作流在指定时间自动执行。触发式...
本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流(MediaWorkflow)工作流是预先编排好的一系列任务流程,可以实现在指定(或任意)OSS Bucket上传一个文件后,自动(或手动)触发按照预先编排好的环节和...
Designer通过工作流的方式来实现模型构建与调试。您需要先规划并创建一个工作流,再根据建模需求在工作流中排布不同组件的处理调度逻辑。Designer内置了满足不同行业场景需求的模板,您可以基于内置模板创建工作流以快速构建模型,也可以...
SchedulerX支持跨应用的任务编排,您可以将同一个应用的任务,或不同应用的任务按执行逻辑编排在一个工作流中。创建工作流 登录 MSE SchedulerX...被导入工作流的应用ID和导出工作流的应用ID需要完全一致。导入任务,请参见 导入或导出任务。
SchedulerX支持跨应用的任务编排,您可以将同一个应用的任务,或不同应用的任务按执行逻辑编排在一个工作流中。创建工作流 登录 分布式任务调度...被导入工作流的应用ID和导出工作流的应用ID需要完全一致。导入任务,请参见 导入或导出任务。
本文介绍 云工作流 的SDK和API的支持情况,供您进行对应的开发操作。使用说明 云工作流(CloudFlow)(新版)完全兼容 Serverless 工作流(旧版)API/SDK,因此新旧版本使用同一版本的API/SDK。若您的客户端使用新版SDK,则新增功能全部...
工作流创建后,您可以对已有的工作流实例和节点进行操作。本文为您介绍如何查看工作流实例、节点日志等。前提条件 已创建并运行工作流,详情请参见 创建工作流 和 运行工作流。查看工作流实例详情 登录 实时计算控制台。单击目标工作空间 ...
工作流类型 标准工作流(Standard Workflow)标准工作流支持定制流程的每一个步骤,适用于较复杂逻辑判断等场景,同时也适用于传统意义上的离线业务流程编排执行场景,具备执行步骤状态的持久化存储,支持运行长时间的工作流执行状态流转。...
工作流类型 标准工作流(Standard Workflow)标准工作流支持定制流程的每一个步骤,适用于较复杂逻辑判断等场景,同时也适用于传统意义上的离线业务流程编排执行场景,具备执行步骤状态的持久化存储,支持运行长时间的工作流执行状态流转。...
工作流的每次执行称为一个执行实例,通过执行实例ID(RunId)可获取工作流本次执行的结果,包括执行状态、工作流中各节点的信息。本文为您介绍如何通过控制台查看工作流执行实例。操作步骤 登录 媒体处理控制台。在顶部菜单栏选择地域。在...
调用 获取音视频上传地址和凭证 或 URL批量拉取上传 接口上传音视频时,将 WorkflowId 参数指定为上一步创建的工作流ID,则音视频上传完成后,点播系统将自动根据您指定的工作流进行处理。上传视频后发起工作流 调用 SubmitWorkflowJob-...
PACKAGE_NAME│└─data│└─project│├─project.json/工作空间信息│├─datasource.json/工作空间数据源信息│workflow/工作流集合│├─Workflow1/Workflow│├─workflow.json/工作流定义│├─trigger.json/定时器定义│├─...
自定义 Serverless 工作流:Serverless 工作流 不仅可以实现高度自定义,例如并行转码、打水印、元信息插入数据库等复杂组合操作,还可以实现 Serverless 工作流 的安全升级更新。降低成本:视频转码是CPU密集型,在 Serverless 工作流 及...
调用 CreateUploadVideo-获取音视频上传地址和凭证 或 UploadMediaByURL-URL批量拉取上传 接口上传音视频时,将 WorkflowId 参数指定为上一步创建的工作流ID,则音视频上传完成后,点播系统将自动根据您指定的工作流进行处理。上传视频后...
在 创建工作流 面板,设置工作流的 名称、描述、应用ID 和 时间类型(包括Cron和API),然后单击 确定。也可以单击 高级设置,设置 时区、日历 和 实例并发数。在 工作流详情 页面,单击 创建任务 或 导入任务,添加调度任务。创建任务:和...
Designer通过工作流的方式来实现模型构建与调试。您需要先规划并创建一个工作流,再根据建模需求在工作流中排布不同组件的处理调度逻辑。Designer支持多种方式创建工作流,我们为您提供了使用预置模板创建工作流和创建空白(自定义)工作流...
工作流资源中包含每个子任务的状态,该状态被存储在资源的/status/nodes 字段中,当工作流的子任务很多时,资源的总大小可能超过1 MB,此时工作流的状态更新会出现异常。为解决此问题,您可以将工作流的状态信息存储在外部SQL数据库中,以...
使用函数计算作为 Serverless 工作流 的执行节点 当使用函数计算作为 Serverless 工作流 的执行节点时,您需要关注以下错误类型:函数计算系统提示的异常错误。函数代码错误。这些错误可以在 Serverless 工作流 的 errors 的任务中进行捕获...
分布式工作流Argo集群(简称 工作流集群 或Serverless Argo Workflows)采用无服务器模式,使用阿里云容器计算服务ACS/弹性容器实例ECI运行工作流,通过优化开源工作流引擎性能及Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时...
迭代(Map)状态允许用户对一个数组中的每个元素执行相同的操作,从而简化大规模数据的处理和工作流的管理。迭代状态的处理模式 为了提高数据处理的效率,适应不同的应用场景,迭代状态提供了以下两种处理模式:内联模式 迭代(Map)状态的...
工作流的相关资源在 工作流集群 中会被定期清理,如果您想对工作流的运行过程进行分析和回溯,可以通过配置持久化策略将工作流持久化存储到数据库中。这样即使工作流被删除或者工作流运行的Pod被删除,您也可以查看到工作流的日志。本文以...
上传方式 使用MPS控制台 在MPS控制台,通过指定工作流后,直接上传文件到工作流的输入节点设置的OSS输入路径中,并发起工作流任务。上传后的文件将在媒体列表中生成媒体文件,并注册媒资ID(MediaId)。前提条件 开通OSS服务,详细操作请...
本文介绍通过运维中心管控工作流调度任务、监控任务运行状态、查看工作流记录和审计日志,便于您对工作流的管理和运维。背景信息 本文为您介绍运维中心的相关操作,具体如下:查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已...
Projex 支持为每一种工作项类型配置不同的工作流,包括需求、任务、缺陷、风险。工作流设置入口 首先进入项目,在 设置 工作项设置 区域,选择工作项的类型,单击 工作流 图标,即可进入工作流设置页面。设置工作流状态流转规则 Projex 的...
云工作流(CloudFlow)用于协调分布式应用和微服务以构建复杂多步骤的、异步调用任务以及长时间运行的业务流程。事务型业务流程编排 复杂的...基于 云工作流 的自动化工具比单机运维脚本具有高可用、自带的错误处理机制和进度图形化的特点。
UpdateWorkflowDag 更新工作流的DAG 更新工作流的节点及依赖关系,专业版应用才支持。ListWorkFlows 获取工作流信息列表 获取工作流信息列表。ExecuteWorkflow 触发一次工作流 触发一次工作流立即运行。DeleteWorkflow 删除指定工作流 删除...
UpdateWorkflowDag 更新工作流的DAG 更新工作流的节点及依赖关系,专业版应用才支持。ListWorkFlows 获取工作流信息列表 获取工作流信息列表。ExecuteWorkflow 触发一次工作流 触发一次工作流立即运行。DeleteWorkflow 删除指定工作流 删除...
2023年10月 功能名称 变更类型 功能描述 相关文档 功能升级与名称变更 优化 产品功能升级,提供更通用的工作流编排逻辑能力、提供更丰富的生态集成方案以及Spec YAML语法升级,工作流开发体验更加便捷。产品升级公告 升级前后版本差异及...
工作流集群 采用无服务器模式,使用阿里云弹性容器实例ECI运行工作流,通过优化Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。本文介绍如何创建 工作流集群。前提条件 已开通分布式云容器平台ACK...
步骤一:通过预置模板创建工作流 Designer通过工作流的方式来实现模型构建。您需要先创建一个工作流,再根据建模需求在工作流中排布不同组件的处理调度逻辑。前往 可视化建模,选择工作空间并进入Designer。在 预置模板 页签下,单击 心脏...
媒体处理中工作流的触发方式根据文件路径以及自动触发的设置情况,一共可分为3种触发方式。本文介绍不同工作流触发方式的适用场景和要求。触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发...
调用 获取音视频上传地址和凭证 或 URL批量拉取上传 接口上传音视频时,将 WorkflowId 参数指定为上一步创建的工作流ID,则音视频上传完成后,点播系统将自动根据您指定的工作流进行处理。上传视频后发起 调用 提交点播工作流作业 接口,将...
在 Cromwell Server 配置完成后,如何快捷的进行提交、停止工作流、流程失败后如何快速定位问题以及工作流完成后如何快速查看运行日志、查看工作流的 Metrics 信息、工作流产生的费用等手段,这些问题就变成了 server 运维工作的基本诉求。...
Argo Workflows是一个Kubernetes原生的工作流引擎,支持通过YAML或Python SDK编排并行任务,简化容器化应用的自动化和管理工作。Argo Workflows适用于需要处理多步骤、并行任务和依赖关系的场景,例如数据处理、机器学习Pipeline、仿真计算...
本示例介绍了使用逻辑编排创建一个完整的工作流过程中的操作和通用的基本概念,比如添加触发器、添加操作、运行工作流等。在本示例中,我们通过一个实际案例,向您展示如何通过逻辑编排工作流自动化您的日常工作。在本示例中,构建一个...
由于原生的集群在Pod清理后就不能查看Pod或工作流日志,因此,工作流集群 集成了阿里云日志服务SLS,收集工作流运行过程中Pod产生的日志,上报到您账号下的SLS服务中,并且支持通过Argo CLI或Argo UI便捷地查看工作流的日志。使用说明 日志...
Serverless 工作流 的服务条款,请参见 阿里云产品服务协议。
在在线工作流中,全局变量使多个组件能够共享相同的参数,而在DataWorks的离线调度中,则用于替换定时调度参数,从而提升工作流的灵活性和效率。使用方法 配置全局变量。进入已创建的工作流,单击画布空白处,在界面右侧新建全局变量。在...
调用 获取音视频上传地址和凭证 或 URL批量拉取上传 接口上传音视频时,将 WorkflowId 参数指定为上一步创建的工作流ID,则音视频上传完成后,点播系统将自动根据您指定的工作流进行处理。上传视频后发起 调用 提交点播工作流作业 接口,将...