步骤 描述 相关文档 步骤一:新建业务流程 DataWorks数据开发基于业务流程组织与开发代码,您需先新建业务流程,才可进行后续的开发工作。创建业务流程 步骤二:新建数据表 DataWorks支持使用可视化方式创建表,并以目录结构在界面展示。...
钉钉小程序:钉钉小程序是一种全新的开发模式,并支持iOS、安卓等多端部署。其他集成方式:移动应用集成到微信公众号的具体操作,请参见 自定义菜单。移动应用集成到微信小程序的具体操作,请参见 小程序开发指南。使用说明 支付宝小程序和...
需要的配置信息不同 NAS 取值可参考文件存储 API DescribeFileSystems 的返回信息 {"fileSystemId":"3b6XXX89c9",/文件系统 ID"fileSystemStorageType":"Performance",/文件系统的存储规格"vpcId":"vpc-uf66oxxxrqge1t2gson7s"/挂载点的 ...
DataWorks的Doris节点可进行Doris任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用Doris节点进行任务开发的主要流程。背景信息 Apache Doris是一个高性能、实时的分析型数据库,能较好地满足报表分析、即席查询、数据...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库,...
DataWorks的SelectDB节点可进行SelectDB任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用SelectDB节点进行任务开发的主要流程。背景信息 SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库,聚焦于满足企业...
DataWorks的SAP HANA节点可进行SAP HANA任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用SAP HANA节点进行任务开发的主要流程。背景信息 SAP HANA是一个高性能的内存数据库和应用平台,结合了数据库、数据处理和应用...
DataWorks通过 工作空间 解决方案 业务流程 三级结构,全新定义开发流程,提升开发体验:工作空间:权限组织的基本单位,用来控制您的开发、运维等权限。工作空间内成员的所有代码均可以协同开发管理。解决方案:您可以自定义组合业务流程...
DataWorks的Redshift节点可进行Redshift任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用Redshift节点进行任务开发的主要流程。背景信息 Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库,具有...
DataWorks的PolarDB MySQL节点可进行PolarDB MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用PolarDB MySQL节点进行任务开发的主要流程。背景信息 PolarDB MySQL版 是阿里巴巴自研的新一代云原生数据库,在计算...
数据开发 面板中的资源只有 上传为ODPS资源,并 提交 或 发布 后,才会出现在 MaxCompute资源 面板的开发环境或生产环境中。通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件,不会在 数据开发 面板显示,但会出现...
DataWorks的ADB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB for MySQL节点进行任务开发的主要流程。前提条件(可选,RAM账号需要)进行任务开发的RAM账号已被添加至...
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
在 应用开发 页面的 开发工具 模块,单击 组件开发。在 组件开发 公开组件包 页面,定位到目标组件包,单击操作栏的 编辑。单击 编辑组件包 页面右上角的 添加组件。在右侧的 添加组件 弹框中,勾选待添加的个人组件,单击 添加。说明 仅...
DataWorks为您提供CDH Spark节点,便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍如何配置及使用CDH Spark节点。前提条件 已创建阿里云CDH集群,并绑定至DataWorks工作空间。操作详情请参见 新版数据开发:绑定CDH计算...
标准工作空间下,冒烟测试在 隔离的开发环境 中执行,即使任务包含数据写入,也不会影响您的线上生产数据。进入数据开发 进入数据开发。登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中...
DataWorks的MySQL节点可进行MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用MySQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发(DataStudio)基于业务流程执行不同引擎的具体开发操作,因此...
您可以参考本文完成组件接口的开发和使用。整个过程主要分为三步:获取业务组件数据结构。业务组件的数据结构和该组件的 mock.json 文件除去可选参数字段外,其余字段均保持一致。编写接口。表单提交接口 修改组件后,会调用该接口保存组件...
DataWorks的CDH Spark SQL节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何创建及使用CDH Spark SQL节点。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务...
DataWorks的ADB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB for PostgreSQL节点进行任务开发的主要流程。前提条件(可选,RAM账号需要)进行任务开发的RAM...
在 应用开发 页面的 开发工具 模块,单击 组件开发。在 组件开发 公开组件包 页面,单击 新建组件包。在 新建组件包 对话框,设置组件包的基本信息。参数 配置说明 中文名/英文名 自定义组件包中、英文名称。建议输入便于识别的名称。仅...
本文为您介绍使用SSH节点进行任务开发的主要流程。注意事项 通过SSH节点启动远程主机的某进程执行场景下,当SSH节点任务异常退出时(例如,任务超时等场景),不会影响底层远程主机中的操作行为,即DataWorks不会主动向远程主机下发进程...
在 新建节点 弹窗中,配置节点的 名称,完成后单击 确认,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二:开发Presto任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH...
在 新建节点 弹窗中,配置节点的 名称,完成后单击 确认,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二:开发Hive任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH...
在 新建节点 弹窗中,配置节点的 名称,完成后单击 确认,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二:开发Impala任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH...
通过DataWorks的Serverless Kyuubi节点,可基于 EMR Serverless Spark计算资源 进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。适用范围 计算资源限制:仅支持 绑定EMR Serverless Spark计算资源,需确保资源组和计算资源...
权限类别 描述 MaxCompute开发项目权限 DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系,让被授予空间角色的RAM用户(子账号)拥有该角色映射的开发引擎权限,默认拥有开发环境对应的引擎项目权限,但无生产环境对应...
上传数据操作入口 您可在数据开发的顶部菜单栏、业务流程下的表分组或表管理页面中进行上传数据操作,入口如下。数据开发 页面的顶部菜单栏。数据开发 业务流程 下的表分组。标准模式下,在 表管理 页面右键单击开发表,选择导入数据。上传...
本文介绍操作权限控制的相关问题。如何控制工作空间下各用户可操作哪些功能权限?...关于预设角色拥有的对应功能权限列表请参考文档:附录:预设角色权限列表(空间级)。关于自定义DataWorks角色您可以参考文档:空间级模块权限管控。...
DataWorks的CDH Spark SQL节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何配置及使用CDH Spark SQL节点。前提条件 已创建阿里云CDH集群,并绑定至DataWorks工作空间。操作详情请参见 新版数据...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何创建EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发:...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户,拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限,但默认无生产权限,本文为您介绍预设角色权限基本情况、MaxCompute权限...
您需先通过创建SSH数据源远程访问您的SSH服务器,才可在SSH节点中进行SSH任务的开发和周期性调度。创建数据源,请参见 创建SSH数据源。说明 SSH节点仅支持使用JDBC连接串方式创建的SSH数据源。同时,为避免任务运行失败,请确保数据源与...
单击 确认,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二:创建并引用CDH JAR资源 DataWorks支持您从本地先上传资源至DataStudio,再引用资源。具体操作如下:创建CDH JAR资源。在对应业务流程中,右键单击 ...
DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。背景信息 Lindorm 是基于云原生架构的分布式计算服务,支持社区版计算模型、兼容Spark...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 新版数据...
背景信息 除了项目目录外,Data Studio还提供了个人目录和手动目录,以满足不同的开发需求,帮助您在各种业务场景下高效进行数据开发和管理。以下是对这三种类型目录的对比,您可以根据具体需求选择合适的目录进行开发。目录类型 权限范围 ...