EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
Data Studio新版数据开发支持将个人开发环境制作成镜像，以供数据开发与其他个人开发环境使用。本文将介绍如何在个人开发环境制作个人开发实例镜像。背景介绍 在个人开发环境开发测试时，若您想要使用不同的三方依赖，您不仅可以在个人开发...
大模型服务为您提供高效部署、安全通信与便捷调用的一站式能力，您可以基于DataWorks的Serverless资源组轻松完成模型部署，并直接在数据集成、数据开发任务中调用大模型。更多信息，请参见 大模型服务管理。镜像管理 在控制台左侧导航栏，...
大模型服务为您提供高效部署、安全通信与便捷调用的一站式能力，您可以基于DataWorks的Serverless资源组轻松完成模型部署，并直接在数据集成、数据开发任务中调用大模型。更多信息，请参见 大模型服务管理。镜像管理 在控制台左侧导航栏，...
环境限制 源工作空间跨云发布到目标工作空间时，环境限制如下：源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据开发 不...
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...
适用范围 仅支持 使用新版数据开发（Data Studio）的工作空间。仅支持Serverless资源组，详情请参见 使用Serverless资源组。注意事项 运行该任务时，若使用Serverless资源组，单任务支持最大配置 64CU，但建议不超过 16CU，以避免CU过大...
规划概述 在数据建模前，需由数仓架构师协同数据开发与模型设计团队，对企业业务及数据进行全面调研，明确数据整体结构。基于此，在数仓规划阶段需完成以下核心设计，方便对所建模型进行分层化域管理。业务分类：面向复杂业务场景的垂直...
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，支持您基于自己的业务需求，在关键的流程节点上进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为...
场景五：临时工作流中未被选择的实例 配置触发临时工作流中未被选择的实例 单击，选择进入 全部产品 数据开发与运维 运维中心（工作流）页面。单击运维中心右侧导航栏 周期任务运维 周期任务，进入周期任务列表页面。选择需要某周期任务，...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作...
您在完成需求评审、模型与调度设计后，即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段...
本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发，如需使用，请确保您的工作空间已开通新版数据开发。开通方式如下：创建工作空间 时，选择 使用新版数据开发...
调用该接口，会在新版数据开发中创建一个数据开发节点。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个节点，则除第一个以外的后续节点均会被忽略。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
调用此接口，可以重命名数据开发节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
调用此接口，可以删除指定的数据开发节点。接口说明 注意 当这个节点被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
使用开放数据 将开放数据安装到目标工作空间的 MaxCompute 计算资源后，您可以在数据开发或数据分析模块中，基于该目标工作空间的MaxCompute计算资源，直接访问已授权的元数据视图信息。在数据地图左侧导航栏中，单击 图标，进入数据目录...
DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景，属于固定场景，不支持执行新增、编辑、删除等操作。同时，...
DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况，请前往 运维中心 的 周期实例，...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
调用DeleteFolder删除数据开发页面的文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 ...
调用DeleteFolder删除数据开发页面的文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 ...
调用此接口，可以将指定的数据开发节点的路径移动到指定位置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
调用此接口，可以对数据开发文件资源进行重命名。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
调用DeleteFile删除数据开发中的文件。如果文件已经提交过，那么DeleteFile API会同时触发一个异步在调度系统删除的流程，需要用DeleteFile API返回的DeploymentId继续调用GetDeployment轮询被触发的异步删除流程的状态。调试 您可以在Open...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点 ClickHouse ClickHouse SQL。在 新建节点 对话框中输入节点 ...
调用此接口，可以删除指定的数据开发文件资源。接口说明 注意 当这个文件资源被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
调用该接口，在数据开发中删除指定的工作流。接口说明 注意 当这个工作流被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK...
尊敬的DataWorks用户：为给您提供一致的开发体验，DataWorks HoloStudio 产品能力将整合至 DataWorks 数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据...
附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发 计算资源 界面下查看数据开发中已绑定的计算资源信息。绑定后，在不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 ...
DataWorks为您提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等一级脱敏场景，您可直接使用。若该类场景指定生效的数据范围及用户范围无法满足您更细化的脱敏需求，则...
调用此接口，可以更新数据开发文件资源的基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例...
您需要在DataWorks中创建ClickHouse数据源并绑定至数据开发（Data Studio），才可通过ClickHouse数据源访问ClickHouse数据，进行后续的开发操作。详情请参见 绑定ClickHouse计算资源。已创建ClickHouse SQL节点，详情请参见 创建调度工作流...
调用该接口，在数据开发指定目录下创建一个工作流。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个工作流，则除第一个以外的后续工作流均会被忽略。此外，工作流内部定义的节点也会被直接忽略，请调用 CreateNode 接口...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建表 AnalyticDB for PostgreSQL 表。您也可以打开相应...
发布模型可将逻辑模型物化为MaxCompute、Hologres等物理引擎中的物理表或视图，用于后续的数据开发与分析。限制条件 发布模型前，需满足以下条件：目标引擎：支持发布至 MaxCompute、Hologres、EMR Hive、CDH、MySQL 引擎。发布类型：发布...