10000 Id long 是 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0 版本的 SDK 升级时，...
调用此接口，可以重命名数据开发工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
0EF298E5-0940-5AC7-9CB0-6502507*Id long 数据开发工作流的唯一标识符。注意 该字段在 SDK8.0.0 版本之前为 Long 类型，SDK8.0.0 版本及之后为 String 类型。该变更不影响 SDK 正常使用，参数仍会按 SDK 中定义的类型返回。只有在跨 8.0.0...
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
307XXX Name string 数据开发工作流名称 OpenAPI test workflow Demo Owner string 数据开发工作流的责任人 110755000425XXXX CreateTime long 数据开发工作流的创建时间戳 1708481905000 ModifyTime long 数据开发工作流的最近更新时间戳 ...
调用此接口，可以更新数据开发工作流基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流均会被忽略。此外，工作流...
调用此接口，可以将通过FlowSpec定义的工作流节点和其内部的子节点都导入到数据开发中。接口说明 注意 该接口不支持导入多个工作流，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流将被忽略。这是一个异步接口，调用该...
分页获取数据开发工作流列表，也可以根据筛选条件对工作流进行筛选。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
DataWorks数据开发支持将数据推送作为节点，结合数据开发已有的工作流，提供了简单推送、合并推送、脚本推送、条件推送以及MaxCompute数据推送方式，本实践将为您带来这五种推送方式的实践。背景信息 在DataWorks业务流程开发中，可以新增...
如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR Workflow，详情请参见 EMR旧版数据开发迁移公告。您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新...
概述 本文主要介绍工作空间开发权限无法创建数据集的原因。详细信息 为什么已经具备工作空间开发权限了，还是无法创建数据集呢？原因如下：当前没有赋予开发权限的空间成员数据源的使用权限，所以会提示“申请权限”。需要当前数据源的拥有...
问题描述 Quick BI工作空间分配了开发权限还是没有添加数据源的权限。问题原因 当工作空间开启数据源仅管理员可创建选项的时候开发权限则不能新建数据源。解决方案 关闭空间信息中的数据源仅管理员可创建选项。提升当前账号的权限为管理...
提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据开发工作效率。开发场景 支持开发场景类目管理。支持开发场景引用公共节点。支持数据处理流程编排（多个计算节点组合成一个任务流），用户可灵活...
实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。各引擎开发说明：DataWorks支持创建各种数据源并进行引擎开发任务，不同引擎...
提供可视化操作界面，通过托拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据开发工作效率。开发环境场景 支持开发环境场景类目管理。支持开发环境场景引用公共节点。支持数据处理流程编排（多个计算节点组合成一个任务流）...
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
MoveWorkflowDefinition 移动数据开发工作流路径 调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。RenameWorkflowDefinition 重命名数据开发工作流 调用此接口，可以重命名数据开发工作流。GetWorkflowDefinition ...
说明 如果您需要协助处理，可以联系DataWorks on EMR团队协助您将EMR数据开发工作流自动化迁移至DataWorks数据开发平台。阿里云DataWorks on EMR团队+客户 2~4天 三、验证阶段 修改作业配置（例如数据路径等），验证运行作业在新的集群环境...
实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。各引擎开发说明：DataWorks支持创建各种数据源并进行引擎开发任务，不同引擎...
在 创建工作空间 页面，自定义 工作空间名称，开启 使用新版数据开发（Data Studio），然后单击 创建工作空间。说明 2025年02月18日后，主账号在华东2（上海）地域首次开通DataWorks并创建工作空间时，默认启用新版数据开发，界面将不展示 ...
重要 若您在界面上未看到此选项，代表您的工作空间已默认启用新版数据开发。工作空间模板 工作空间模板定义DataWorks工作空间中可用的工具、资源和功能。选择工作空间模板后，您可以根据实际需求添加相应类型的计算资源和数据源。更多详情...
最佳实践 数据推送节点在业务流程中，可以进行 简单推送、合并推送、脚本推送、条件推送 和 MaxCompute 等多种用法，详情请参见 最佳实践：数据开发工作流中配置数据推送节点。后续步骤 数据推送任务发布成功，可在运维页面对任务进行运维...
新增和使用Serverless资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员，以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
完成以上五个步骤后，您的 DataWorks 工作空间已具备基础的开发和运行能力，可以开始进行数据集成和数据开发工作。管理控制功能概览 概览与导航 控制台左侧导航栏是所有管理功能的入口，主要包括工作空间列表、资源组列表、镜像管理、已购...
同时，为方便用户进行数据开发工作，这些DataWorks预设角色与MaxCompute数据源Role存在映射关系，详情请参见 背景信息。以下以一个案例为您示例。DataWorks上给一个RAM用户授予开发角色，他可以在DataWorks上开发代码并且提交，但是他不能...
数据开发与运维中心：数据加工 DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点...
新增和使用Serverless资源组 使用旧版资源组 二、开发环境准备 您需先在DataWorks工作空间注册EMR集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 数据同步环境...
2025-07-31 所有地域 使用新版数据开发（Data Studio）的用户 节点调度 数据开发新增克隆和版本还原功能 Data Studio支持对工作流、节点及组件等数据对象进行克隆与版本还原操作，便于快速复用与历史版本恢复。2025-07-31 所有地域 使用...
数据开发（DataStudio）各工作空间之间的数据开发工作是 完全隔离 的。工作空间之间的业务流程、任务节点独立开发，互不影响。在工作空间内部：仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”...
该接口用于查询指定DataWorks工作空间的数据开发中绑定的数据源列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
Airflow 是一款面向大数据开发场景的开源工作流编排和调度工具，支持作业开发、DAG（有向无环图）调度和监控工作流批处理。Airflow允许通过Python代码定义工作流。借助其Python插件，用户可以灵活地将Airflow与大多数外部技术或系统集成。...
使用新版数据开发（Data Studio）是否使用新版数据开发。创建OpenLake工作空间时，此项必须 开启。工作空间模板 工作空间模板定义DataWorks工作空间中可以使用的工具、资源和功能。创建OpenLake工作空间，此项默认选择 OpenLake 模板。更多...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Hive SQL类型作业。在页面左侧，...
在E-MapReduce数据开发项目中，您可以在作业编辑中定义一组有依赖的作业，然后创建工作流，使作业按照依赖依次执行。E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看...
在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、降低读磁盘I/O的性能。优化Cache策略，内存充足情况下热...
建议您参考 附录：预设角色权限列表（空间级）、DataWorks数据开发介绍及实践 深入了解各角色用途后进行适当配置。避免作为调度访问身份的子账号频繁登录 说明 建议禁止登录作为引擎调度访问身份的子账号，以免发生无关成员查看引擎关键...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
问题描述 Quick BI数据集owner给同工作空间的开发者授权数据集编辑权限，该用户点击数据集进行编辑时提示”没有当前数据源的使用权限“问题原因 同工作空间的开发者要对其他人创建的数据集进行编辑，除了要有该数据集的编辑使用权限之外，...
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...