网站设计与开发公司
_相关内容
DataWorks的PolarDB PostgreSQL节点可进行PolarDB PostgreSQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用PolarDB PostgreSQL节点进行任务开发的主要流程。背景信息 云原生数据库PolarDB PostgreSQL版是阿里云完全...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 算法 PAI Designer。在 新建节点 对话框中输入节点 名称,并...
DataWorks的CDH Spark SQL节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何创建及使用CDH Spark SQL节点。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务...
DataWorks的KingbaseES节点可进行KingbaseES任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用KingbaseES节点进行任务开发的主要流程。背景信息 KingbaseES是一个大型关系型数据库管理系统(RDBMS),支持SQL标准,适合...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程,则可以忽略该步骤。鼠标悬停至 图标,选择 业务流程。在 新建...
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍如何创建EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 注册EMR集群至...
使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树,或通过 临时查询...
后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入目标节点的编辑页面。您可以在 数据开发 或 手动业务流程 的目录树下,找到目标节点,双击该...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建通用Shell节点。在数据开发页面右键单击目标业务流程,选择 新建节点,在 通用 目录下选择 ...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Impala节点。右键单击目标业务流程,选择 新建节点 EMR EMR Impala。说明 您也可以鼠标悬停...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品 数据建模 维度建模。在 维度建模 页面单击 图标,进入 模型列表...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Spark。在 新建节点 对话窗中,配置节点的引擎实例、...
DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台,使用其进行数据开发前,您需做好相关准备工作,保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程,帮助您快速开通DataWorks并准备所需开发...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏底部单击 图标,进入 设置 页面。在 调度设置 页签设置调度任务相关功能的默认配置。...
您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 注册EMR集群...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程,详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后,再新建JAR资源...
二、数据开发与运维 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数同文”的...
数据开发与运维中心 DataWorks为您提供 数据开发 与 运维中心 两个子模块,可实现在数据开发中开发并调试任务,完成后将任务提交发布至运维中心,实现周期性自动运行。数据开发模块介绍请参见 数据开发概述。运维中心模块介绍请参见 运维...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布 创建发布包 界面将操作发布至生产环境,有以下两种...
流程编排作为 云原生应用开发平台 CAP 的一项核心能力,为开发者提供了一种图形化、低代码的方式来设计、执行和管理复杂的业务流程,极大地提升了开发效率与应用灵活性。本文将说明流程编排在 云原生应用开发平台 CAP 中的作用,并提供一份...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 算法 PAI DLC。在 新建节点 对话框输入节点 名称,单击 确认...
进入个人设置 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在DataStudio界面左侧导航栏底部单击 图标,进入 设置 个人设置 页面。在该页面,您可...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您...
true:工作空间启用开发环境,支持开发与生产环境隔离 false:仅使用生产环境 true DevRoleDisabled boolean 否 是否禁用开发角色:false,开启开发角色(默认)true,禁用开发角色 注意:禁用开发角色(即禁用工作流程和代码编辑功能)后...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 SSH。在 新建节点 对话框输入节点 名称,单击 确认。节点创建...
完成Python节点脚本开发与测试后,需对Python节点进行调度配置,以实现Python节点的周期运行。完成任务调度配置后,需对节点进行保存后,才可进行下一步操作。步骤二:节点发布与运维 完成调度配置后,即可对已完成的Python节点提交发布至...
进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入数据开发后,您可以创建业务流程及不同类型的节点进行相关开发操作,详情请参见 ...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据服务,在下拉框中选择对应工作空间后单击 进入数据服务。找到服务开发页面的 服务管理 页签,在 API管理 下面的 发布的API 页签中,单击您所测试的API 操作 ...
创建EMR资源 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建资源 EMR EMR JAR 或 新建资源 EMR EMR File。您也可以找到...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与治理 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品 数据治理 数据保护伞,单击 立即体验,进入数据保护伞。说明 若...
DataWorks的强制代码评审是工作空间维度开启,开启后,开发人员提交的节点代码必须通过评审人员的审核才可发布。同时,您可指定代码评审的基线范围(即对哪类基线任务进行评审),把控高优先级任务的代码质量,防止任务运行失败阻塞其他...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入资源组编排页面。在数据开发页面,鼠标悬停至目标业务流程,单击业务流程后的 图标,进入该业务...