项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双环境，提升代码开发规范，并能够对表权限进行严格控制，禁止随意操作生产环境的表，保证生产表的数据安全。当您在DataWorks建立项目时，建议您使用...
例如，执行离线同步任务时，可由运行环境控制任务所访问的数据库地址（配置生产、开发数据源对应不同数据库），使开发环境和生产环境的数据隔离。说明 简单模式工作空间仅拥有一个环境，无法做到开发、生产隔离。关于工作空间模式的介绍，...
实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合分布式数据库、分布式缓存、微服务框架、服务管理和发布流程等方面做统一的集成和...
前提条件 您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。数据源或集群 说明 创建MaxCompute数据源 首次创建MaxCompute数据源后，DataWorks会自动将数据源绑定至数据开发（DataStudio），您无需按本文手动绑定。但...
在 管理中心>工作空间 页面对指定工作空间的属性进行管理和配置，并为工作空间添加数据源（MaxCompute、E-MapReduce等），用于进行后续开发操作。本文为您介绍工作空间的基本操作。操作入口介绍 工作空间各操作说明及入口如下表所示。操作 ...
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
本文为您介绍HoloWeb以及HoloWeb提供的开发和运维功能。HoloWeb介绍 Hologres是为大数据设计的一站式实时数仓，支持数据实时写入、PB级数据高并发低延时的分析处理和超高QPS点查。与MaxCompute无缝打通，支持数据加速查询，兼容PostgreSQL...
详情请参考 数据源开发和生产环境隔离。调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 ...
工作空间是DataWorks中进行任务开发和成员权限管理的基本单元。本文将为您介绍工作空间的概念、类型及基本操作。工作空间概述 所有开发工作都将在DataWorks自定义的工作空间内完成，一个工作空间支持创建多个类型的数据源，例如：...
扩展能力 自定义页面组件 如下场景可能需要自定义页面组件：您可以为自己的业务定制开发和维护一组标准的业务组件，以实现业务内的组件复用和组件标准化。通用组件无法满足业务需要时，您可以通过自定义页面组件满足特定的样式规范、交互...
开发者在应用的开发和发布阶段，可能会遭遇消息推送失败的问题。由于 mPaaS 平台集成了不同渠道的推送功能，当遇到问题时，建议通过控制台进行消息推送的测试。如果消息状态是 Acked，则表示 mPaaS MPS 服务端后台已经把消息推送请求发送到...
DataWorks的AnalyticDB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准...
解决方案 数字海南选择了 mPaaS 作为海南省“码上办事”App 的开发和运营平台。具体来说 mPaaS 提供了以下能力支撑“码上办事”业务：业务快速开发：基于 mPaaS H5、小程序开发能力，1 个月内快速开发上线数百项业务，涵盖政府办事、公共...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
背景信息 为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，对于内建函数，您无需关注函数内部的实现逻辑，可直接进行调用。您可以根据需要从不同维度快速...
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统（RDBMS），用于存储、检索及管理数据，适用于处理高吞吐量、大...
扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率，在扩展程序代码开发时，将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数，也可自定义参数。支持添加多个...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库，能较好地满足报表分析、即席查询、数据...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
DataWorks的GBase 8a节点可进行GBase 8a任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用GBase 8a节点进行任务开发的主要流程。背景信息 GBase 8a是一款关系型数据库管理系统（RDBMS），支持大数据量存储和高并发读写...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库，在计算...
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
DataWorks的AnalyticDB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for PostgreSQL节点进行任务开发的主要流程。前提条件 已购买DataWorks标准版及...
有关个人组件开发和公开组件包的详细内容请参见 组件开发。审核组件包：IoT Studio平台管理员开始审核测试组件包内各组件的功能特性、源码文件和应用安全性等。审核通过：IoT Studio平台管理员确认组件包可以在IoT Studio平台上线。上线...
DataWorks为您提供EMR Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍如何创建EMR Spark节点，并通过详细的应用示例，为您介绍EMR Spark节点的功能。背景信息 本节点支持使用OSS REF方式引用OSS资源，详情...
您可以参考本文完成组件接口的开发和使用。整个过程主要分为三步：获取业务组件数据结构。业务组件的数据结构和该组件的 mock.json 文件除去可选参数字段外，其余字段均保持一致。编写接口。表单提交接口 修改组件后，会调用该接口保存组件...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
支持创建数据源时选择是否需要对数据源开启SSL认证，如果Hologres实例开启了传输加密，您可以在创建Hologres数据源时开启SSL认证，但开启认证后的Hologres数据源不能用于数据开发和调度。仅支持使用独享数据集成资源组、独享调度资源组运行...
您需先通过创建SSH数据源远程访问您的SSH服务器，才可在SSH节点中进行SSH任务的开发和周期性调度。创建数据源，请参见 创建SSH数据源。说明 SSH节点仅支持使用JDBC连接串方式创建的SSH数据源。同时，为避免任务运行失败，请确保数据源与...
但是由于当前HoloStudio未上线环境切换功能，建议开发和生产绑定同一个DB，否则HoloStudio将无法查询生产环境的数据。环境 配置项 说明 备注 标题 实例显示名称 自定义 无 生产环境 访问身份 主账号/子账号 DataWorks任务提交调度后，作为...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统（RDBMS），支持SQL标准，适合...
方式二：通过连接串模式创建数据源 使用该模式创建的数据源不支持用于数据开发和调度，只能用于数据同步。创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的名称，名称必须唯一。配置模式 选择连接串模式。...
其中，在数据开发中绑定MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 3.0、ClickHouse、E-MapReduce和CDH/DCP数据源后，即可在工作空间开发和调度引擎任务。业务流程 针对业务实体，抽象出 业务流程 的概念，...
开发 该角色负责数据开发和维护工作，即在 数据开发 模块进行节点的开发与维护。说明 如果需要进行数据开发，您需要授予RAM用户开发或空间管理员角色权限。如果需要拥有发布权限，您需要授予RAM用户运维或空间管理员角色权限。运维 该角色...