创建表的用户具备开发权限角色,空间管理员 或 开发。授权详情请参见 空间级模块权限管控。背景信息 Hologres的表类型分为内部表和外部表,其区别如下:内部表:可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台,兼容阿里云多项计算服务,提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成,Data Studio...
创建表的用户具备开发权限角色,空间管理员 或 开发。授权详情请参见 空间级模块权限管控。背景信息 Hologres的表类型分为内部表和外部表,其区别如下:内部表:可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台,兼容阿里云多项计算服务,提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成,Data Studio...
DataWorks 管理控制台是进行环境设置与资源管理的可视化平台。其管理能力贯穿两个层面:在全局层,支持配置租户级的通用角色和报警规则;在工作空间层,支持为每个独立的项目精细配置其专属的计算资源、数据源和开发成员。核心概念与系统...
魔笔为用户提供了一套标准的集成发布流程以及可供开发测试、正式部署的隔离环境,为魔笔应用部署提供了开箱即用的上云体验。环境 环境代表魔笔应用实际运行的物理环境,涵盖 ECS、VPC 等软件运行的基础设施,是魔笔应用运行时所需基础设施...
DataWorks标签管理功能支持通过业务标签实现数据资产的分类、统计及自动化策略制定。需先定义标签名称(标签键)和取值(标签值),完成定义后方可绑定资产,进行后续的资产统计、管理等操作。本文为您介绍标签的创建及使用操作。背景信息 ...
DataWorks不同版本的关键能力差异点如下:模块能力 标准版(对比基础版增加的能力)专业版(对比标准版增加的能力)企业版(对比专业版增加的能力)数据开发 控制节点/组件管理 代码评审 支持更大规模的开发 运维中心 智能基线 智能诊断、值班表...
阿里云智联车管理云平台具有以下优势:基于智联车管理云平台的车辆研发 传统车辆研发 一站式服务 开通IoV CC服务,只需要端侧集成IoV CC SDK,就可在云端实现对智联车车辆设备的状态查看、追踪、远程诊断、升级、预警等一系列的云端管理...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库,...
本文为您介绍DataWorks数据开发(DataStudio)界面的整体布局,以及进行开发操作的主界面(业务流程和节点)中各组件、按钮的功能作用,方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧...
AliyunDevsDefaultRole:云原生应用开发平台 CAP 在管理项目时,需要访问依赖的云资源。云原生应用开发平台 CAP 使用该角色来访问依赖的云资源。更多信息,请参见 默认角色。关于服务角色的介绍请见 创建可信实体为阿里云服务的RAM角色。...
数据开发与生产链路:开发人员在开发环境先开发代码、配置调度依赖、调试任务,待冒烟测试无误后可申请提交发布,此时应由一个运维/部署/管理员角色来进行代码Review,确认无误后即可发布到生产环境,让规范、安全的代码在生产环境定期运行...
本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...
准备工作:开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前,您需要先在CDH中开发Spark任务代码并完成任务代码的编译,生成编译后的任务JAR包,CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数并实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点,引导您高效使用DataWorks...
三、创建工作空间 工作空间是DataWorks中进行任务开发、成员权限管理、协同开发的基本单元,DataWorks所有开发工作都将在工作空间内进行,您可参考以下内容为本案例创建DataWorks标准模式工作空间(开发、生产环境隔离)。进入工作空间列表...
自定义 API 管理页面展示了 可以直接使用的 API、申请通过后可使用的 API 以及 API 审核列表。在此页面可以 查看 API 详情、提审 API。...说明 提审后的 API 需要在 小程序开发平台 运营管理后台 的 自定义 API 申请审核 中审核。
自定义 API 管理页面展示了 可以直接使用的 API、申请通过后可使用的 API 以及 API 审核列表。在此页面可以 查看 API 详情、提审 API。...说明 提审后的 API 需要在 小程序开发平台 运营管理后台 的 自定义 API 申请审核 中审核。
背景信息 MaxCompute镜像管理 功能支持您创建自定义镜像,您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。在DataWorks,您可以基于个人开发环境,在构建DataWorks镜像的同时,同步...
添加域名 在 小程序开放平台 的 开发者后台 左侧菜单栏单击 开发配置 域名管理 添加域名。在 增加域名 弹窗中添加域名。重要 配置域名时请输入带有协议头的域名地址,域名生效后,该域名下的目录与页面均将同时生效。单击 确定,添加域名...
mPaaS 小程序开放平台是一个面向企业和开发者的一站式小程序生态服务平台,提供从开发、测试、发布到运营的全生命周期支持,助力开发者高效构建高质量小程序,赋能企业快速实现数字化业务落地。小程序开放平台分为 开发者后台 和 运营管理...
DataWorks为您提供多种MaxCompute节点,便于您根据需要开发不同类型的MaxCompute任务,并为您提供丰富的节点调度配置,帮助您灵活设置MaxCompute任务的调度,本文为您介绍创建并管理MaxCompute节点的通用操作指导。适用范围 进行MaxCompute...
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户,拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限,但默认无生产权限,本文为您介绍预设角色权限基本情况、MaxCompute权限...
您可以在数据开发中创建SQL组件节点,利用这些组件快速构建数据处理节点,从而提高开发效率。本文将介绍如何引用和使用这些SQL组件。前提条件(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有 开发 或 空间...
DataWorks推出ETL工作流模板案例集,旨在帮助您快速了解产品的最佳实践。您可以一键将案例导入至指定工作空间,快速还原案例,体验产品能力。教程列表 DataWorks当前支持的ETL工作流模板...DataWorks版本计费详情请参见 软件版本选择与计费。
DataWorks的ADB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB for MySQL节点进行任务开发的主要流程。前提条件(可选,RAM账号需要)进行任务开发的RAM账号已被添加至...
在工作空间内部:仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”、“管理员”角色具备提交发布包的权限。仅“运维”、“部署”、“管理员”具备正式发布的权限。说明 任务节点的调度依赖是...
在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中配置并使用CDH MR节点。前提条件 已创建阿里云CDH集群,并绑定至DataWorks工作空间。操作详情请参见 新版数据开发:...
DataWorks的DB2节点可进行DB2任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用DB2节点进行任务开发的主要流程。背景信息 DB2是一款关系型数据库管理系统(RDBMS),用于存储、检索及管理数据,适用于处理高吞吐量、大...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您...
开发节点 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
开发节点 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
节点开发 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
个人开发环境开发任务 个人开发环境支持Python编程,如需使用个人开发环境编辑Python节点任务,详情请参见 个人开发环境。通过关联角色运行 节点 支持 配置节点关联角色,使用特定RAM角色运行节点任务,实现权限的细粒度控制和安全管控。
DataWorks的Vertica节点可进行Vertica任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用Vertica节点进行任务开发的主要流程。背景信息 Vertica是一个高性能的列式存储数据库管理系统(DBMS),可高速处理和查询大规模...
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您提供可靠、高效且...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统(RDBMS),与MySQL高度兼容。它可以无缝...