系统管理：批量执行软件安装、环境配置、系统维护等任务。关键特性 多平台支持：支持Windows和Linux操作系统镜像，并支持用户定制自定义镜像。安全隔离：基于VPC网络隔离，并且每个任务运行在独立的镜像环境，确保环境稳定以及企业数据安全...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
在工作空间内部：仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”、“管理员”角色具备提交发布包的权限。仅“运维”、“部署”、“管理员”具备正式发布的权限。说明 任务节点的调度依赖是...
本方案面向希望提升开发效率的DataWorks用户，通过SSH安全连接，将本地Visual Studio Code编辑器与云端个人开发环境打通，让开发者在享受本地工具体验的同时，无缝利用云端计算与数据能力，实现编码、调试效率的提升。流程概览 环境准备：...
开发节点 在SQL编辑区域开发任务代码，您可在代码中使用${变量名} 的方式定义变量，并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参，调度参数使用详情，请参考 调度参数支持格式，示例如下。...
数据开发与生产链路：开发人员在开发环境先开发代码、配置调度依赖、调试任务，待冒烟测试无误后可申请提交发布，此时应由一个运维/部署/管理员角色来进行代码Review，确认无误后即可发布到生产环境，让规范、安全的代码在生产环境定期运行...
复杂依赖场景 当您的实际业务包含多个工作流时，为了工作流与工作流之间便于管理，建议每个工作流都使用虚拟节点设置一个空跑的统筹起始节点，使数据流转路径更加清晰。调度无血缘关系节点 当工作流中的最终输出节点有多个分支输入节点，且...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
魔笔为用户提供了一套标准的集成发布流程以及可供开发测试、正式部署的隔离环境，为魔笔应用部署提供了开箱即用的上云体验。环境 环境代表魔笔应用实际运行的物理环境，涵盖 ECS、VPC 等软件运行的基础设施，是魔笔应用运行时所需基础设施...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统（RDBMS），用于存储、检索及管理数据，适用于处理高吞吐量、大...
DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。背景信息 Lindorm 是基于云原生架构的分布式计算服务，支持社区版计算模型、兼容Spark...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据...
DataWorks的Vertica节点可进行Vertica任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Vertica节点进行任务开发的主要流程。背景信息 Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大规模...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
阿里云智联车管理云平台具有以下优势：基于智联车管理云平台的车辆研发 传统车辆研发 一站式服务 开通IoV CC服务，只需要端侧集成IoV CC SDK，就可在云端实现对智联车车辆设备的状态查看、追踪、远程诊断、升级、预警等一系列的云端管理...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库，能较好地满足报表分析、即席查询、数据...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
DataWorks的DM节点可进行DM任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DM节点进行任务开发的主要流程。背景信息 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算与云计算的优势，具有...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
DataWorks的GBase 8a节点可进行GBase 8a任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用GBase 8a节点进行任务开发的主要流程。背景信息 GBase 8a是一款关系型数据库管理系统（RDBMS），支持大数据量存储和高并发读写...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，具有...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库，在计算...
本文为您带来SSH节点的主要开发流程。节点介绍 SSH节点是通过DataWorks远程访问SSH数据源连接的主机，例如您可通过此方式实现在DataWorks远程访问ECS（Elastic Compute Service）并触发ECS中的脚本周期性调度执行。前提条件 RAM账号添加至...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统（RDBMS），支持SQL标准，适合...
Shell节点开发示例 通过Shell节点使用资源 DataWorks支持通过资源管理将需要在Shell节点中使用的资源上传至DataWorks，详情请参见 资源管理。说明 资源需要提交后才可被节点引用。若生产任务需使用该资源，还需将该资源发布至生产环境。...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组（推荐）或独享调度资源组运行该类型任务。步骤一：创建EMR...
本文为您介绍如何在DataWorks创建EMR Impala节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应...