Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
分布式工作流Argo集群（简称 工作流集群 或Serverless Argo Workflows）采用无服务器模式，使用阿里云容器计算服务ACS/弹性容器实例ECI运行工作流，通过优化开源工作流引擎性能及Kubernetes集群参数，实现大规模工作流的高效弹性调度，同时...
视频点播服务的工作流引擎根据工作流配置，自动进行媒体处理、视频AI等操作。工作流引擎完成活动处理后结束，并向用户发送回调。如何使用 创建工作流。目前仅支持通过点播控制台创建工作流。展开查看操作步骤 登录 视频点播控制台。在左侧...
Argo Workflows是一个Kubernetes原生的工作流引擎，支持通过YAML或Python SDK编排并行任务，简化容器化应用的自动化和管理工作。Argo Workflows适用于需要处理多步骤、并行任务和依赖关系的场景，例如数据处理、机器学习Pipeline、仿真计算...
Argo Workflows是一个Kubernetes原生的工作流引擎，支持通过YAML或Python SDK编排并行任务，简化容器化应用的自动化和管理工作。Argo Workflows适用于需要处理多步骤、并行任务和依赖关系的场景，例如数据处理、机器学习Pipeline、仿真计算...
视频点播服务的工作流引擎根据工作流配置，自动进行媒体处理、视频AI等操作。如何使用 创建工作流。目前仅支持通过点播控制台创建工作流。展开查看操作步骤 登录 视频点播控制台。在左侧导航栏选择 配置管理 媒体处理配置 工作流管理，进入...
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
在左侧导航栏，选择 数据开发 工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽节点块到画布中，在弹出的对话框中，配置相关的参数，单击 确定。本示例以SHELL类型为例，其他任务类型详情请参见 任务类型。如需...
307XXX Name string 数据开发工作流名称 OpenAPI test workflow Demo Owner string 数据开发工作流的责任人 110755000425XXXX CreateTime long 数据开发工作流的创建时间戳 1708481905000 ModifyTime long 数据开发工作流的最近更新时间戳 ...
MoveWorkflowDefinition 移动数据开发工作流路径 调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。RenameWorkflowDefinition 重命名数据开发工作流 调用此接口，可以重命名数据开发工作流。GetWorkflowDefinition ...
2023年10月 功能名称 变更类型 功能描述 相关文档 功能升级与名称变更 优化 产品功能升级，提供更通用的工作流编排逻辑能力、提供更丰富的生态集成方案以及Spec YAML语法升级，工作流开发体验更加便捷。产品升级公告 升级前后版本差异及...
调用此接口，可以重命名数据开发工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
分页获取数据开发工作流列表，也可以根据筛选条件对工作流进行筛选。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
调用此接口，可以更新数据开发工作流基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流均会被忽略。此外，工作流...
0EF298E5-0940-5AC7-9CB0-6502507*Id long 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0...
更便捷的工作流开发体验，提供全新的Studio拖拽形式编辑，提供在线调试及YAML预览，帮助用户快速上手工作流开发。提供全新Express模式，提升大流量和高并发场景的使用体验，降低整体工作流调用延迟。API/SDK兼容性说明 云工作流 新版本完全...
10000 Id long 是 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0 版本的 SDK 升级时，...
在工作流开发面板，通过拖拽连线，将 workshop_start_emr 节点设置为两个离线同步节点的上游节点。最终效果如下：三、配置同步任务 您可以通过以下步骤将MySQL数据源中的用户信息和HttpFile数据源中的日志信息同步到您所创建的OSS中，并...
通过JDBC方式连接计算引擎 JDBC开发实践 通过JAR方式连接计算引擎 JAR作业开发实践 通过Python方式连接计算引擎 Python作业开发实践 流引擎 通过Lindorm-cli连接流引擎 通过客户端连接并使用Lindorm流引擎 通过开源Kafka客户端连接流引擎 ...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
调试工作流 若需要在数据开发调试触发式工作流，可以单击工作流画布上方工具栏的 运行图标，在弹窗中填写 触发器消息体，来模拟事件产生。发布触发式工作流 工作流调试完成后，单击工具栏中的 发布按钮唤起发布看板，单击 开始发布生产，...
API概览 可视化建模Designer 工作流构建 Designer通过工作流的方式来实现建模与模型调试，用户可根据建模需求在工作流中通过拖拉拽的方式排布不同组件，像搭积木一样构建AI开发流程。工作流概述 工作流导入/导出 支持将构建好的工作流导出...
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
工作流：工作流是一种数据处理流程自动化管理工具，提供的可视化画板功能支持以可视化拖拽方式整合多种类型的子任务节点，轻松建立任务间的依赖关系，加速数据处理流程的搭建，有效提升任务开发效率。详情请参见 周期工作流。节点编排。...
目录类型 权限范围 功能特性 适用场景 项目目录 工作空间级 支持基于该目录进行团队开发协作 支持创建周期性调度任务（节点/工作流）该目录下的节点归属于工作空间 创建需要周期性自动调度运行的生产任务 个人目录 个人账户级 支持个人代码...
通过变量的复用，可以在SQL开发、批任务开发及工作流等场景中简化代码的维护和调整，进而提高开发效率。本文将为您详细介绍如何创建变量及其在不同场景下的具体使用方法。背景信息 变量由变量名和变量值组成。其中，变量名是您自定义的名称...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
说明 新版数据开发提供了实现面向多引擎协同的数据开发、可视化工作流编排和数据目录管理等能力，支持使用Notebook进行与AI联动的交互式数据探索与分析。关于新版数据开发的更多信息，请参见 数据开发（Data Studio）（新版）。工作空间...
09月 功能名称 描述 发布时间 发布地域 使用客户 相关文档 Data Studio 面向OpenLake House环境下的数据开发与分析场景，Data Studio提供了实现面向多引擎协同的数据开发、可视化工作流编排和数据目录管理等能力，同时也支持Python编程及...
Serverless 工作流 简化了开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让您聚焦业务逻辑开发。下图描述了 Serverless 工作流 如何协调分布式任务，这些任务可以是函数、已集成云服务API、运行在虚拟机或容器上的...
云工作流 简化了开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让您聚焦业务逻辑开发。下图描述了 云工作流 如何协调分布式任务，这些任务可以是函数、已集成云服务API、运行在虚拟机或容器上的程序。产品优势 ...
数据开发（Data Studio）（新版）支持用户创建手动任务、手动业务流程和触发式工作流，数据开发（DataStudio）（旧版）用户只能创建手动业务流程。前提条件 手动任务、手动业务流程或触发式工作流已发布至生产环境。进入手动任务页面 登录 ...
代码搜索功能仅支持搜索 数据开发、手动工作流、手动任务、回收站 目录下的节点。各目录功能，详情请参见 Data Studio功能引导。进入代码搜索 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 ...
如果您曾经使用过旧版数据开发（DataStudio），阅读本文档能够帮助您快速了解新旧版数据开发间功能变化，适应新版环境，衔接后续开发工作。全新用户无需阅读，可直接开始使用新版数据开发。重要 以下仅列举旧版升级新版后位置变化或功能...
调用此接口，可以将通过FlowSpec定义的工作流节点和其内部的子节点都导入到数据开发中。接口说明 注意 该接口不支持导入多个工作流，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流将被忽略。这是一个异步接口，调用该...
工作流调度简介 定时调度 EventBridge事件调度 应用（Application）云工作流旧版控制台应用中心是专门针对Serverless架构下工作流应用的管理和开发平台，提供一键部署与模块化应用构建。提供一个便捷、高效、一体化的环境，来开发、部署、...
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
Designer内置了满足不同行业场景需求的模板，您可以基于内置模板创建工作流以快速构建模型，也可以根据自定义模板创建工作流、创建空白工作流和导入已有工作流。本文为您介绍创建工作流的具体操作。前提条件 已创建工作空间，详情请参见 ...
本文介绍通过运维中心管控工作流调度任务、监控任务运行状态、查看工作流记录和审计日志，便于您对工作流的管理和运维。背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已...