数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
系统管理：批量执行软件安装、环境配置、系统维护等任务。关键特性 多平台支持：支持Windows和Linux操作系统镜像，并支持用户定制自定义镜像。安全隔离：基于VPC网络隔离，并且每个任务运行在独立的镜像环境，确保环境稳定以及企业数据安全...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据...
在工作空间内部：仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”、“管理员”角色具备提交发布包的权限。仅“运维”、“部署”、“管理员”具备正式发布的权限。说明 任务节点的调度依赖是...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
数据开发与生产链路：开发人员在开发环境先开发代码、配置调度依赖、调试任务，待冒烟测试无误后可申请提交发布，此时应由一个运维/部署/管理员角色来进行代码Review，确认无误后即可发布到生产环境，让规范、安全的代码在生产环境定期运行...
密钥服务是KMS的核心组件，支持管理用户主密钥、默认密钥，提供密钥的全生命周期管理和安全存储能力，同时支持基于云原生接口的极简数据加密和数字签名。本文帮助您快速了解 KMS密钥。密钥的核心用途 在KMS创建的密钥可用于 自建应用集成 ...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统（RDBMS），用于存储、检索及管理数据，适用于处理高吞吐量、大...
DataWorks的Vertica节点可进行Vertica任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Vertica节点进行任务开发的主要流程。背景信息 Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大规模...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
本文为您带来SSH节点的主要开发流程。节点介绍 SSH节点是通过DataWorks远程访问SSH数据源连接的主机，例如您可通过此方式实现在DataWorks远程访问ECS（Elastic Compute Service）并触发ECS中的脚本周期性调度执行。前提条件 RAM账号添加至...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库，能较好地满足报表分析、即席查询、数据...
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
DataWorks的DM节点可进行DM任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DM节点进行任务开发的主要流程。背景信息 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算与云计算的优势，具有...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
DataWorks的GBase 8a节点可进行GBase 8a任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用GBase 8a节点进行任务开发的主要流程。背景信息 GBase 8a是一款关系型数据库管理系统（RDBMS），支持大数据量存储和高并发读写...
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，具有...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统（RDBMS），支持SQL标准，适合...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库，在计算...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
Shell节点开发示例 通过Shell节点使用资源 DataWorks支持通过资源管理将需要在Shell节点中使用的资源上传至DataWorks，详情请参见 资源管理。说明 资源需要提交后才可被节点引用。若生产任务需使用该资源，还需将该资源发布至生产环境。...
本文为您介绍如何在DataWorks创建EMR Impala节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应...
进行分支节点开发前，需创建对应的分支节点，详情请参见：创建周期任务。注意事项 您需购买DataWorks标准版及以上版本，才可以使用分支节点。DataWorks版本介绍及购买，详情请参见 DataWorks各版本详解。分支节点最多可挂载50个分支。通常...
数仓开发 数仓开发主要用于沉浸式数据仓库开发，您可以通过创建项目空间，选择数仓引擎和环境，进而创建多个数仓开发任务发布运行，实现复杂的数仓开发过程，提升数仓开发效率和管理能力。更多信息，请参见 创建项目空间。数据应用 数据...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
您可以通过开发配置EMR（E-MapReduce）Trino节点，完成海量多维数据聚合或报表分析。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组（推荐）或独享调度资源组运行该类型任务。步骤一：创建EMR...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
开发节点 在SQL编辑区域开发任务代码，语法支持 catalog.database.tablename。若省略 catalog，即为集群默认Catalog；若省略 catalog.database，即为集群默认Catalog的默认数据库。Catalog更多信息，请参见 EMR Serverless Spark 管理数据...
开发节点 说明 开发Serverless Spark Batch任务前，需先在EMR中开发Spark任务代码并编译成JAR包。Spark开发指导，请参见 Spark教程。根据不同场景需求选择适合您的操作方案：方案一：先上传资源后引用EMR JAR资源 DataWorks支持从本地先...
已开发创建项目目录，详情请参见 项目目录。上传并发布使用的资源，详情请参见 资源管理。创建MaxCompute MR节点，详情请参见 创建任务节点。说明 您需要上传并发布使用的资源后，再创建MaxCompute MR节点。背景信息 MapReduce是一个分布式...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...