DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
您可以在数据开发中创建SQL组件节点，利用这些组件快速构建数据处理节点，从而提高开发效率。本文将介绍如何引用和使用这些SQL组件。前提条件（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有 开发 或 空间...
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统（RDBMS），用于存储、检索及管理数据，适用于处理高吞吐量、大...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库，能较好地满足报表分析、即席查询、数据...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
DataWorks的DM节点可进行DM任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DM节点进行任务开发的主要流程。背景信息 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算与云计算的优势，具有...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用...
DataWorks的Vertica节点可进行Vertica任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Vertica节点进行任务开发的主要流程。背景信息 Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大规模...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
说明 由于数据开发中的MaxCompute Spark节点没有运行入口，因此您需要在开发环境的运维中心执行Spark任务。待补数据实例运行成功后，进入其运行日志的tracking URL中查看运行结果 相关文档 更多场景的Spark on MaxCompute任务开发，请参考...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
DataWorks的GBase 8a节点可进行GBase 8a任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用GBase 8a节点进行任务开发的主要流程。背景信息 GBase 8a是一款关系型数据库管理系统（RDBMS），支持大数据量存储和高并发读写...
说明 如果您在开发任务时，需要特定的开发环境支持，可使用DataWorks提供的自定义镜像功能，定制化构建任务执行所需的组件镜像。更多信息，请参见 自定义镜像。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行具体开发...
前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：绑定CDH计算资源。重要 已在CDH集群安装Hive组件，并在绑定集群时配置Hive链接信息。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库，在计算...
前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：绑定CDH计算资源。重要 已在CDH集群安装Impala组件，并在绑定集群时配置Impala链接信息。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至...
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：绑定CDH计算资源。重要 已在CDH集群安装Presto组件，并在绑定集群时配置Presto相关信息。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至...
前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：绑定CDH计算资源。重要 已在CDH集群安装Spark组件，并在绑定集群时配置Spark相关信息。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中配置并使用CDH MR节点。前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统（RDBMS），支持SQL标准，适合...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点 SSH。在 新建节点 对话框输入节点 名称，单击 确认。节点创建...
DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。背景信息 Lindorm 是基于云原生架构的分布式计算服务，支持社区版计算模型、兼容Spark...
系统应用已经具备访问IoV CC服务的能力，而不需要进行二次开发。自定义应用 租户自己开发的应用，可自行定义。租户下载客户端SDK，并集成到自定义应用内。自定义应用有两种使用场景：1.用于OTA应用升级；2.用于CMNS（消息推送服务）上、...
您可以通过开发配置EMR（E-MapReduce）Trino节点，完成海量多维数据聚合或报表分析。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM...
已开发创建项目目录，详情请参见 项目目录。上传并发布使用的资源，详情请参见 资源管理。创建MaxCompute MR节点，详情请参见 创建任务节点。说明 您需要上传并发布使用的资源后，再创建MaxCompute MR节点。背景信息 MapReduce是一个分布式...
如果需要跨项目操作开发表或生产表，子账号需要在 安全中心 发起申请，待审批通过后，便可在数据开发界面对表进行相关操作。权限申请流程 数据访问控制功能支持您进行 权限申请、权限审批、权限审计 的操作，还支持您查看 权限申请记录、...
前提条件 已为DataWorks工作空间 绑定MaxCompute计算资源。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有 开发 或 空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见 为工作空间添加...
说明 如果在 创建工作空间 时选择了隔离生产、开发环境，则此处需要分别为生产和开发环境选择OpenSearch实例。用户名 填写创建OpenSearch实例时设置的用户名。可前往 OpenSearch实例管理 页面查看您所设置的用户名信息。密码 填写创建...
若您要使用DataWorks进行EMR Serverless StarRocks任务的开发、管理，需先将您的EMR Serverless StarRocks实例绑定为DataWorks的Serverless StarRocks计算资源。绑定完成后，可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 ...
完成本地组件开发和打包后，需要上传组件zip文件到IoT Studio进行打包构建。下文介绍组件项目包构建的具体操作。前提条件 已完成组件的项目文件打包。详细内容请参见 打包本地项目文件。操作步骤 在 组件开发 页面的左侧流程的 上传zip包 ...
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...
模板 预置的应用定义，用于快速部署应用...功能集 功能 功能描述 参考文档 快速授权 快速授权 首次使用云原生应用开发平台 CAP时，需要授权AliyunDevsCustomRole和AliyunDevsDefaultRole两个服务角色作为后续使用本产品的必要条件。快速授权
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...