0EF298E5-0940-5AC7-9CB0-6502507*Id long 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0...
10000 Id long 是 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0 版本的 SDK 升级时，...
调用此接口，可以重命名数据开发工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
307XXX Name string 数据开发工作流名称 OpenAPI test workflow Demo Owner string 数据开发工作流的责任人 110755000425XXXX CreateTime long 数据开发工作流的创建时间戳 1708481905000 ModifyTime long 数据开发工作流的最近更新时间戳 ...
单击工作空间左侧的 工作流图标，再单击目标Airflow实例名称，即可进入Airflow空间。在 Code 页面下查看发布的代码是否已同步到当前页面。确认同步至当前页面后，单击右上角的 运行按钮。单击 Graph 页签，找到并单击对应的任务。单击 Logs...
调用此接口，可以更新数据开发工作流基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流均会被忽略。此外，工作流...
分页获取数据开发工作流列表，也可以根据筛选条件对工作流进行筛选。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
调用此接口，可以将通过FlowSpec定义的工作流节点和其内部的子节点都导入到数据开发中。接口说明 注意 该接口不支持导入多个工作流，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流将被忽略。这是一个异步接口，调用该...
DataWorks数据开发支持将数据推送作为节点，结合数据开发已有的工作流，提供了简单推送、合并推送、脚本推送、条件推送以及MaxCompute数据推送方式，本实践将为您带来这五种推送方式的实践。背景信息 在DataWorks业务流程开发中，可以新增...
问题描述 魔笔开发过程中，使用工作流为用户分配逻辑流时，已经创建好了数据模型，但后端逻辑流中选择数据模型里面逻辑流为空，如下图所示：问题原因 逻辑流在创建的时候，必须返回一个系统用户的列表才能在这里被识别到。解决方案 建议您...
调试周期工作流 开发调试完工作流内部节点任务后，调试运行工作流任务。单击业务流程看板上方工具栏中的 图标，在 填写运行参数 弹窗手动输入 本次运行值。单击 确定。单击业务流程看板的工作流内部节点，查看任务执行结果。发布 周期 工作...
类型 描述 流程管理 DataWorks数据开发提供 工作流 开发模式。工作流是一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理复杂的任务工程。更多详情请参见 周期工作流、触发式工作流、手动业务流程。说明 在Data Studio数据...
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
操作步骤 说明 更多信息，请参见 工作流开发。已进入WORKSPACE或REPOS配置代码页面。在Python文件中配置代码。Operator 说明 DMSSqlOperator 将SQL提交到DMS管理的数据库实例中执行，并获取结果。DTSLakeInjectionOperator 借助DTS的能力，...
调试工作流 若需要在数据开发调试触发式工作流，可以单击工作流画布上方工具栏的 运行图标，在弹窗中填写 触发器消息体，来模拟事件产生。发布触发式工作流 工作流调试完成后，单击工具栏中的 发布按钮唤起发布看板，单击 开始发布生产，...
步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入已经创建好的工作流。在PAI Designer节点编辑页面，...
在左侧导航栏，选择 数据开发 工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽节点块到画布中，在弹出的对话框中，配置相关的参数，单击 确定。本示例以SHELL类型为例，其他任务类型详情请参见 任务类型。如需...
MoveWorkflowDefinition 移动数据开发工作流路径 调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。RenameWorkflowDefinition 重命名数据开发工作流 调用此接口，可以重命名数据开发工作流。GetWorkflowDefinition ...
在左侧导航栏，选择 数据开发 工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽 SHELL 节点块到画布中。本文以 SHELL 任务类型为例。任务类型的详细信息，请参见 任务类型。在弹出的对话框中，配置相关参数，...
在左侧导航栏，选择 数据开发 工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽 SHELL 节点块到画布中。本文以 SHELL 任务类型为例。任务类型的详细信息，请参见 任务类型。在弹出的对话框中，配置相关参数，...
2023年10月 功能名称 变更类型 功能描述 相关文档 功能升级与名称变更 优化 产品功能升级，提供更通用的工作流编排逻辑能力、提供更丰富的生态集成方案以及Spec YAML语法升级，工作流开发体验更加便捷。产品升级公告 升级前后版本差异及...
说明 如果您需要协助处理，可以联系DataWorks on EMR团队协助您将EMR数据开发工作流自动化迁移至DataWorks数据开发平台。阿里云DataWorks on EMR团队+客户 2~4天 三、验证阶段 修改作业配置（例如数据路径等），验证运行作业在新的集群环境...
本文介绍 云工作流 的SDK和API的支持情况，供您进行对应的开发操作。使用说明 云工作流（CloudFlow）（新版）完全兼容 Serverless 工作流（旧版）API/SDK，因此新旧版本使用同一版本的API/SDK。若您的客户端使用新版SDK，则新增功能全部...
更便捷的工作流开发体验，提供全新的Studio拖拽形式编辑，提供在线调试及YAML预览，帮助用户快速上手工作流开发。提供全新Express模式，提升大流量和高并发场景的使用体验，降低整体工作流调用延迟。API/SDK兼容性说明 云工作流 新版本完全...
类型 描述 流程管理 DataWorks数据开发提供 工作流 开发模式。工作流是一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理复杂的任务工程。更多详情请参见 周期工作流、触发式工作流、手动业务流程。说明 在Data Studio数据...
操作步骤 在本案例中，您将通过DataWorks将本教程提供的测试数据上传至MaxCompute项目，并在DataWorks的数据开发中生成工作流，对测试数据进行基本的清洗和写入操作。同时，您还将对工作流进行调试运行，并通过SQL查询验证运行结果等操作。...
在工作流开发面板，通过拖拽连线，将 workshop_start_emr 节点设置为两个离线同步节点的上游节点。最终效果如下：三、配置同步任务 您可以通过以下步骤将MySQL数据源中的用户信息和HttpFile数据源中的日志信息同步到您所创建的OSS中，并...
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 项目管理 工作流运维 节点运维 大屏 基线 报警监控 数据集成 智能数据建模 数据分析 ...
最佳实践 数据推送节点在业务流程中，可以进行 简单推送、合并推送、脚本推送、条件推送 和 MaxCompute 等多种用法，详情请参见 最佳实践：数据开发工作流中配置数据推送节点。后续步骤 数据推送任务发布成功，可在运维页面对任务进行运维...
周期任务和周期工作流的创建与开发，请参见 创建调度工作流的节点、创建周期工作流。周期任务和周期工作流的调度配置，请参见 节点调度。注意事项 任务发布时间点对实例生效存在影响。全量转实例时间段内（每天 23:30~24:00）进行的变更...
获取指定的工作流实例的详细信息。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 ...
工作流类型 标准工作流（Standard Workflow）标准工作流支持定制流程的每一个步骤，适用于较复杂逻辑判断等场景，同时也适用于传统意义上的离线业务流程编排执行场景，具备执行步骤状态的持久化存储，支持运行长时间的工作流执行状态流转。...
数据开发与运维中心：数据加工 DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点...
2025-07-31 所有地域 使用新版数据开发（Data Studio）的用户 周期工作流 触发式工作流 手动业务流程 节点开发 手动任务 组件管理 资源管理 使用数据集 Data Studio支持在Shell节点、Python节点、Notebook和个人开发环境中使用数据集。...
教程列表 DataWorks当前支持的ETL工作流模板列表如下：说明 ETL工作流模板载入 数据开发 模块后，您可通过查看 虚拟节点（业务流程第一个节点）查看案例详情。教程（点击链接快速体验）涉及产品 涉及模块 DataWorks版本要求 教程描述 网站...
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
在E-MapReduce数据开发项目中，您可以在作业编辑中定义一组有依赖的作业，然后创建工作流，使作业按照依赖依次执行。E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看...
批量启动多个工作流实例。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API...
Airflow 是一款面向大数据开发场景的开源工作流编排和调度工具，支持作业开发、DAG（有向无环图）调度和监控工作流批处理。Airflow允许通过Python代码定义工作流。借助其Python插件，用户可以灵活地将Airflow与大多数外部技术或系统集成。...