若您要使用DataWorks进行Hologres任务的开发、管理,需先将您的Hologres实例创建为DataWorks的Hologres计算资源。创建完成后,可在DataWorks的各功能模块使用该计算资源连接Hologres实例,进行相应的数据同步、数据开发、数据分析等操作。...
本文为您介绍在DataWorks上开发MaxCompute SQL节点任务。节点介绍 MaxCompute SQL用于处理和查询MaxCompute中的数据,支持常见的SQL操作,例如SELECT、INSERT、UPDATE、DELETE等,以及特定的MaxCompute语法和函数。使用ODPS SQL,您可以...
人工智能平台PAI的可视化建模Designer,用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点,方便您通过该算法节点载入Designer工作流,通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...
开发任务代码 您可根据业务需求选择以下方式编写DLC任务:基于已有DLC任务编写任务代码 通过名称搜索,载入在人工智能平台PAI已创建的DLC任务。任务载入后,DLC节点编辑器会根据PAI中该任务的配置生成相应节点代码,您可基于该代码编辑修改...
开发节点 说明 开发Serverless Spark Batch任务前,需先在EMR中开发Spark任务代码并编译成JAR包。Spark开发指导,请参见 Spark教程。根据不同场景需求选择适合您的操作方案:方案一:先上传资源后引用EMR JAR资源 DataWorks支持从本地先...
若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorks的MaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析...
通过DataWorks的Serverless Kyuubi节点,可基于 EMR Serverless Spark计算资源 进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。适用范围 计算资源限制:仅支持 绑定EMR Serverless Spark计算资源,需确保资源组和计算资源...
开发节点 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
开发节点 在SQL编辑区域开发任务代码,语法支持 catalog.database.tablename。若省略 catalog,即为集群默认Catalog;若省略 catalog.database,即为集群默认Catalog的默认数据库。Catalog更多信息,请参见 EMR Serverless Spark 管理数据...
DataWorks的ADB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB for PostgreSQL节点进行任务开发的主要流程。前提条件(可选,RAM账号需要)进行任务开发的RAM...
data":{"tenantId":28378*10656,/租户id,DataWorks每个阿里云主账号对应一个租户,每个租户有自己的租户id,该值您可在DataWorks数据开发右上角用户信息查看。eventCode":"xxxx"/},"aliyunoriginalaccountid":"11111","specversion":"1....
DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...
本视频介绍如何使用多端低代码开发平台魔笔,快速搭建 AI 企业知识库。说明 如果遇到视频播放卡顿,可以通过 B 站观看。B 站地址:魔笔企业知识库搭建教程
DataWorks的ADB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB for MySQL节点进行任务开发的主要流程。前提条件(可选,RAM账号需要)进行任务开发的RAM账号已被添加至...
人工智能平台PAI的 可视化建模Designer,用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点,方便您通过该算法节点载入Designer工作流,通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...
注意事项 权限控制:仅 开放平台管理员 和 租户管理员、阿里云主账号或者拥有 AliyunDataWorksFullAccess 权限的RAM用户拥有开发者后台的读写权限,权限控制详情请参见 全局级模块权限控制、产品及控制台权限控制详情:RAM Policy。...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,因此,创建节点前需先新建业务流程,操作详情请参见 创建业务流程。注意事项 PAI DLC节点每次运行完成,均会在人工智能平台PAI的分布式训练(DLC)平台生成一个新的DLC...
对于已创建的数据源或引擎可沿用填写AccessID、AccessKey的方式,但不能填写归属于其他阿里云主账号的AccessID、AccessKey信息,且通过AccessID、AccessKey方式创建的数据源或引擎无法用于数据开发。默认访问身份变更:如果您需要将数据源...
您可以通过阅读本文,快速了解在 魔笔低代码应用开发平台 中构建应用的流程。快速体验魔笔 开通使用 判断用户类型 打开 阿里云官网 并完成登录,通过右上方用户卡片判断您当前使用账号是否是阿里云主账号,主账号会有 主账号 标识,如下图...
智能搭建(Mobile Pages Building Service,简称 MBS)是一款互联网应用页面的快速搭建工具,无需研发投入开发,零代码快速搭建页面。MBS 实现了可视化、标准化、组件化的搭建方式,提供丰富的基础组件和多个预置业务组件,同时支持使用...
标准模式下,支持开发环境和生产环境隔离,开发环境和生产环境的数据库表命名有所区别,如果需要在开发环境访问生产环境的数据库表,请根据以下命名规范严格区分数据库表名,避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
通过使用树莓派(Raspberry Pi 4)、DHT11温湿度传感器设备和物联网应用开发(IoT Studio)平台,构建一个服务器机房的实时动态环境温湿度检测系统。设计思路 创建并接入相应的产品和设备,实现数据实时上报至阿里云IoT平台。使用IoT ...
在魔笔低代码开发平台中,空间成员授权是查看和管理团队成员开发权限的关键功能。通过空间设置中的成员页,管理员可以查看和管理所有成员的权限,添加新成员,并为他们分配适当的角色。查看成员列表 在成员页中,您可以查看当前空间的所有...
序号 内容 相关文档 1 DataWorks工作空间为多角色协同开发的基本单元,所有开发工作都将在具体的工作空间内开展,若您需要RAM用户(子账号)协同开发,则需将RAM用户加入工作空间并按照职能为该用户分配空间角色。DataWorks预设部分角色...
在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
准备工作:开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前,您需要先在CDH中开发Spark任务代码并完成任务代码的编译,生成编译后的任务JAR包,CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
通过将 RAM 用户添加为工作空间成员并授予不同角色,您可以实现权限的精细化管控,从而保障数据安全和开发流程的规范性。工作原理 DataWorks 的成员管理基于阿里云的 RAM(访问控制)和 RBAC(基于角色的访问控制)模型。其核心机制如下:...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
DataWorks提供的EMR(E-MapReduce)Hive节点支持云端大规模数据的批处理分析,能够操作存储在分布式系统中的数据,简化大数据处理流程并提高开发效率。在EMR Hive节点中,您可以使用类SQL语句读取、写入和管理大数据集,从而高效地完成海量...
DataWorks已不需要强制使用AccessKey,如果您有场景需要使用AccessKey,主账号可为RAM用户创建AccessKey ID和AccessKey Secret。确认主账号已经允许RAM用户启用控制台登录。如果上述信息无法确认,请首先保证所属主账号满足以下条件:已经...
本文为您介绍如何在DataWorks创建EMR Impala节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据开发:绑定EMR计算资源。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应...
空间级别-开发角色:可以做任务开发的工作,如DataStudio任务开发、数据服务开发、DQC配置等。空间级别-运维角色:负责配置资源与任务部署,如配置数据源、发布任务。空间级别-部署角色:仅负责发布任务。空间级别-模型设计师角色:仅能...
开发节点 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
说明 上述说明在DataWorks上的具体体现为,管理员角色和开发角色的成员,有DataWorks上大部分功能权限,有DataWorks开发环境(MaxCompute引擎开发项目)所有权限,但默认没有生产环境(MaxCompute生产项目)的操作权限。如果子账号需要在...
DataWorks的CDH Spark SQL节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何配置及使用CDH Spark SQL节点。前提条件 已创建阿里云CDH集群,并绑定至DataWorks工作空间。操作详情请参见 新版数据...
开发节点 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中配置并使用CDH MR节点。前提条件 已创建阿里云CDH集群,并绑定至DataWorks工作空间。操作详情请参见 新版数据开发:...
节点开发 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧 调度配置 的 调度参数 中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考 调度参数支持格式,示例如下。...
DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。背景信息 Lindorm 是基于云原生架构的分布式计算服务,支持社区版计算模型、兼容Spark...