准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
在工作空间内部：仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”、“管理员”角色具备提交发布包的权限。仅“运维”、“部署”、“管理员”具备正式发布的权限。说明 任务节点的调度依赖是...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统（RDBMS），用于存储、检索及管理数据，适用于处理高吞吐量、大...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
DataWorks的Vertica节点可进行Vertica任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Vertica节点进行任务开发的主要流程。背景信息 Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大规模...
Shell节点开发示例 通过Shell节点使用资源 DataWorks支持通过资源管理将需要在Shell节点中使用的资源上传至DataWorks，详情请参见 资源管理。说明 资源需要提交后才可被节点引用。若生产任务需使用该资源，还需将该资源发布至生产环境。...
数仓开发 数仓开发主要用于沉浸式数据仓库开发，您可以通过创建项目空间，选择数仓引擎和环境，进而创建多个数仓开发任务发布运行，实现复杂的数仓开发过程，提升数仓开发效率和管理能力。更多信息，请参见 创建项目空间。数据应用 数据...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库，能较好地满足报表分析、即席查询、数据...
DataWorks的SSH节点可通过指定SSH数据源的方式，在DataWorks远程访问该数据源连接的主机，并触发脚本在远程主机执行。...相关文档 有关如何实现SSH节点的负载均衡和高可用性的详细信息，请参见 SSH节点实现负载均衡高可用。
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
DataWorks的GBase 8a节点可进行GBase 8a任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用GBase 8a节点进行任务开发的主要流程。背景信息 GBase 8a是一款关系型数据库管理系统（RDBMS），支持大数据量存储和高并发读写...
DataWorks的DM节点可进行DM任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DM节点进行任务开发的主要流程。背景信息 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算与云计算的优势，具有...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用...
Spark是一个通用的大数据分析引擎，以其高性能、易用性和广泛的适用性而著称。它支持复杂的内存计算，非常适合构建大规模且低延迟的数据分析应用。DataWorks平台提供...相关文档 JAR开发快速入门 Spark Submit开发快速入门 EMR Spark节点
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，具有...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库，在计算...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
下文介绍如何在组件开发工作台编辑组件的图标、基本信息和操作文档。前提条件 已完成组件开发后的打包构建。详细内容请参见 上传组件压缩包和截图。步骤一：编辑组件图标 组件图标会显示在Web可视化开发的组件列表中，便于您使用的时候快速...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统（RDBMS），支持SQL标准，适合...
序号 内容 相关文档 1 DataWorks工作空间为多角色协同开发的基本单元，所有开发工作都将在具体的工作空间内开展，若您需要RAM用户（子账号）协同开发，则需将RAM用户加入工作空间并按照职能为该用户分配空间角色。DataWorks预设部分角色...
表类型 相关文档 MaxCompute 创建并使用MaxCompute表 AnalyticDB for PostgreSQL 创建AnalyticDB for PostgreSQL表 EMR 创建EMR表 创建Hologres内部表 创建Hologres内部表 创建Hologres外部表 创建Hologres外部表 在表管理界面查询表数据时...
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组（推荐）或独享调度资源组运行该类型任务。步骤一：创建EMR...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
开发节点 在SQL编辑区域开发任务代码，语法支持 catalog.database.tablename。若省略 catalog，即为集群默认Catalog；若省略 catalog.database，即为集群默认Catalog的默认数据库。Catalog更多信息，请参见 EMR Serverless Spark 管理数据...
本文为您介绍如何在DataWorks创建EMR Impala节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应...
相关文档 更多场景的ODPS MR任务开发，请参见：MapOnly示例 多路输入输出示例 多任务示例 使用资源示例 分区表输入示例 常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。详情可参见 MapReduce常见问题。