本文为您带来SSH节点的主要开发流程。节点介绍 SSH节点是通过DataWorks远程访问SSH数据源连接的主机,例如您可通过此方式实现在DataWorks远程访问ECS(Elastic Compute Service)并触发ECS中的脚本周期性调度执行。前提条件 RAM账号添加至...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
Shell节点开发示例 通过Shell节点使用资源 DataWorks支持通过资源管理将需要在Shell节点中使用的资源上传至DataWorks,详情请参见 资源管理。说明 资源需要提交后才可被节点引用。若生产任务需使用该资源,还需将该资源发布至生产环境。...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
本文为您介绍如何在DataWorks创建EMR Impala节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据开发:绑定EMR计算资源。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组(推荐)或独享调度资源组运行该类型任务。EMR Impala仅...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。使用限制 仅支持使用Serverless资源组运行该类型任务。DataLake或自定义集群若要在DataWorks管理...
进行分支节点开发前,需创建对应的分支节点,详情请参见:创建周期任务。注意事项 您需购买DataWorks标准版及以上版本,才可以使用分支节点。DataWorks版本介绍及购买,详情请参见 DataWorks各版本详解。分支节点最多可挂载50个分支。通常...
您可以通过开发配置EMR(E-MapReduce)Trino节点,完成海量多维数据聚合或报表分析。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据开发:绑定EMR计算资源。(可选,RAM账号需要)进行任务开发的RAM...
DataWorks的MySQL节点可进行MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用MySQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发(DataStudio)基于业务流程执行不同引擎的具体开发操作,因此...
开发节点 在SQL编辑区域开发任务代码,语法支持 catalog.database.tablename。若省略 catalog,即为集群默认Catalog;若省略 catalog.database,即为集群默认Catalog的默认数据库。Catalog更多信息,请参见 EMR Serverless Spark 管理数据...
开发节点 说明 开发Serverless Spark Batch任务前,需先在EMR中开发Spark任务代码并编译成JAR包。Spark开发指导,请参见 Spark教程。根据不同场景需求选择适合您的操作方案:方案一:先上传资源后引用EMR JAR资源 DataWorks支持从本地先...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 SSH。在 新建节点 对话框输入节点 名称,单击 确认。节点创建...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组(推荐)或独享调度资源组运行该类型任务。不支持EMR on ...
本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据开发:绑定EMR计算资源。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作...
DataWorks的表管理模块,可按照表所属主题、表所在引擎维度展示表,并通过引擎类型、表所在环境、表名称等信息进行过滤,快速查找目标表并编辑表信息。同时,也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
说明 如果需要进行数据开发,您需要授予RAM用户开发或空间管理员角色权限。如果需要拥有发布权限,您需要授予RAM用户运维或空间管理员角色权限。运维 该角色负责生产任务发布与运维,即在 任务发布 界面进行发布任务至生产环境的操作,在 ...
创建表的用户具备开发权限角色,空间管理员 或 开发。授权详情请参见 空间级模块权限管控。背景信息 Hologres的表类型分为内部表和外部表,其区别如下:内部表:可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已注册...
背景信息 MaxCompute镜像管理 功能支持您创建自定义镜像,您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。在DataWorks,您可以基于个人开发环境,在构建DataWorks镜像的同时,同步...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已创建...
创建表的用户具备开发权限角色,空间管理员 或 开发。授权详情请参见 空间级模块权限管控。背景信息 Hologres的表类型分为内部表和外部表,其区别如下:内部表:可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已创建...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。在DataWorks资源组本地运行Python脚本时,代码需要调用第三方包,需要根据任务使用的资源组不同,...
您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
本策略定义了管理多端低代码开发平台魔笔(MOBILCDPDEV)的权限。查看策略详情 AliyunMOBILCDPDEVReadOnlyAccess 您可以将 AliyunMOBILCDPDEVReadOnlyAccess 策略授权给 RAM 身份。本策略定义了只读访问多端低代码开发平台魔笔...
完成代码开发后,您需登录 OSS管理控制台,单击所在地域左侧导航栏的 Bucket列表。单击目标Bucket名称,进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录,创建JAR资源的存放目录。配置 目录名 为 emr/jars,...
数据开发与生产链路:开发人员在开发环境先开发代码、配置调度依赖、调试任务,待冒烟测试无误后可申请提交发布,此时应由一个运维/部署/管理员角色来进行代码Review,确认无误后即可发布到生产环境,让规范、安全的代码在生产环境定期运行...
阿里云OpenAPI是统一的远程服务接口,用于编程化管理云资源。本文系统阐述其调用流程、签名机制与SDK用法,助您实现云资源的自动化管理与系统集成。
项目背景 为满足天津信托未来公司财富管理业务异地化、线上化、专业化发展,帮助客户构建从 0 到 1 的财富管理 App 系统,实现更加高效、便捷、安全的线上服务,提升客户满意度和品牌忠实度,并提升其互联网移动技术开发和运营管理能力。...
系统内置集成是由魔笔平台封装的集成资源,旨在简化用户的操作,帮助用户快速高效进行集成操作的开发和使用。系统内置集成 系统内置集成 是魔笔平台预置的集成资源,位于集成列表中置顶的"系统内置集成"文件夹中。这类集成资源由魔笔平台...
步骤一:新建业务流程 DataWorks以业务流程为中心组织数据开发,通过各类型开发节点的容器看板,将相关工具、优化及管理操作围绕看板对象进行组织,使开发管理更加方便智能。您可根据业务需求,将同类型业务统一放置一个业务流程。进入数据...
H5 应用灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置,可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台(苹果、安卓)等对应规则。更多发布规则详情请参考...
与此同时,阿里云推出的 多端低代码开发平台魔笔(Mobi),以其"可视化搭建+无缝云产品集成"的独特优势,正为企业提供快速、灵活的定制化智能会议系统开发方案。面对当前企业在智能会议系统方面的需求,主要体现在以下几个方面:个性化定制...
DataWorks提供的EMR(E-MapReduce)Hive节点支持云端大规模数据的批处理分析,能够操作存储在分布式系统中的数据,简化大数据处理流程并提高开发效率。在EMR Hive节点中,您可以使用类SQL语句读取、写入和管理大数据集,从而高效地完成海量...
小游戏灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置,可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台(苹果、安卓)等对应规则。更多发布规则详情请参考 ...
小程序灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置,可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台(苹果、安卓)等对应规则。更多发布规则详情,请...
本文介绍了在医疗行业中使用了...提供白名单、机型、系统版本等多维度发布能力,实现整体应用动态化管理。发布包大小极致优化,节省流量和存储。小程序一次开发,不仅可以实现面向自有 App 投放,更可一键投放至支付宝、淘宝等其他业务平台。
如果您具有 空间管理员 角色权限,则无需手动创建带发布包,选中待发布对象后,可直接批量发布,系统将自动生成发布包。使用具有 开发 角色权限的成员进入源工作空间的发布中心。您可以进入DataWorks任意功能模块后,在页面左上角单击 图标...
版本管理 系统支持通过版本管理功能将手动任务还原到指定的历史版本,同时还提供版本查看与对比功能,方便您分析差异并做出调整。在左侧 手动任务 中,双击需要查看并进行版本管理的手动任务名称,进入手动任务编辑页。单击手动任务编辑页...