大数据开发框架

_相关内容

数据开发与运维中心:数据加工

DataWorks的 数据开发(DataStudio)是数据加工的开发平台,运维中心 是智能运维平台,基于这两个功能模块,您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

配置基础属性

进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 描述 名称 新建数据开发节点时输入的节点名称,不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID,不可以修改。节点类型 ...

我的地盘

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签,在我的地盘页面中查看模型的相关信息。

入门概述

本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks,请确认已经根据 准备工作 模块的操作,准备好账号和工作空间角色等内容后,登录DataWorks控制台,单击相应工作空间后的 进入数据开发,即可进行...

EMR Workbench

通过EMR Workbench,您可以轻松进行数据开发,以及交互式数据分析,并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境:支持Jupyter笔记本,提供灵活的编程环境。多语言支持:允许使用Python、SQL等多种语言进行数据分析...

MaxCompute函数管理

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作...

用户管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签,在用户管理页面中查看...

查看数据开发操作记录

数据开发DataStudio界面中,您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录:任务责任人变更操作、任务调度属性变更操作、任务及...

模型目录

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签,在模型目录页面中查看模型的详细信息。...

代码搜索

本文以数据开发功能为例,为您介绍代码搜索的操作详情。使用限制 仅DataWorks基础版以上(不包含基础版)的版本才能使用代码搜索功能。代码搜索功能仅支持搜索 数据开发、临时查询、手动业务流程、手动任务、回收站 目录下的节点。各目录...

EMR数据开发(旧版)停止全面支持公告

E-MapReduce(简称EMR)数据开发(旧版)已于2022年2月21日21点停止更新,进入维护状态,详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起,EMR数据开发(旧版)功能将停止全面支持,不再支持用户答疑、问题解决、SLA保障赔付等...

API概览

创建数据开发作业 调用 CreateFlowJob接口,创建数据开发作业。创建项目空间 调用CreateFlowProject,根据传入的地域、名称和描述创建项目空间,并返回创建好的项目空间的ID。删除工作流 调用DeleteFlow接口,删除工作流。删除数据开发项目...

后续指引

介绍:SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践:数据开发最佳实践 常见问题:错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...

执行冒烟测试

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试,开启强制冒烟测试功能后,当前工作空间任务发布前需要...

概述

HoloStudio的数据开发模块与DataWorks无缝连接,提供一站式稳定高效的ETL(Extract-Transform-Load)服务,帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下:文件夹 用于存放并...

DataWorks HoloStudio下线公告

尊敬的DataWorks用户:为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据...

通用参考:切换资源组

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏,单击 数据开发,找到目标离线同步...

HoloStudio(即将下线)

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

通用开发流程

DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需...

用户授权与管理

使用数据建模DATABLAU功能时,在进行定义标准、数据建模、数据开发、部署运维等不同任务时,通常需不同角色的用户进行操作,对应用户需获取相应的权限。本文为您介绍制定标准、数据建模并应用部署过程中推荐的用户角色权限规划与授权操作...

DataWorks新版数据源公告

若想使用创建的数据源进行数据开发,则数据源创建完成后还需进入数据开发(DataStudio)进行模块绑定。已绑定的计算引擎:已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎:不再支持直接编辑计算引擎,如需编辑可直接通过编辑...

创建解决方案

数据开发模式全面升级,包括工作空间>解决方案>业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

应用示例:数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作,详情请参见 开启消息订阅。已完成扩展程序的开发部署操作,详情请参见 开发部署扩展程序。背景信息 启动扩展...

运行历史

运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录,单击相应的任务,即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发(DataStudio)最近三天的运行记录。如您需查看调度任务每日运行情况,请前往 运维...

创建数据脱敏场景

脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等一级脱敏场景为固定场景,不支持执行新增、编辑、删除等操作。同时,DataWorks...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

任务调试流程

调试运行单个任务 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。调试运行任务。在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试...

创建并使用AnalyticDB for PostgreSQL节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>AnalyticDB for PostgreSQL>ADB for PostgreSQL。在 新建节点...

子账号使用DataWorks

访客 仅有只读权限,可以查看数据开发页面的业务流程设计和代码内容。安全管理员 仅有数据保护伞模块的操作权限,详情请参见 数据保护伞。使用子账号登录 DataWorks控制台,单击 数据开发 页面的 DataStudio。您可以根据业务需求进行数据...

创建AnalyticDB for MySQL3.0数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

创建AnalyticDB for PostgreSQL数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

创建ClickHouse数据

后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度...

调试代码片段:快捷运行

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树,或通过 临时查询 功能,查找目标...

创建并使用PAI Studio节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建节点>算法>PAI Studio。在 新建节点 对话框中,输入...

数据服务

背景信息 数据服务提供了数据中台建设过程中的数据服务化能力,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台...

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

创建Hologres数据

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供Hologres任务的开发与调度能力,若您需要基于该Hologres数据源进行Hologres任务开发,或周期性调度Hologres相关任务,需先...

数据脱敏能力概述

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若...

按应用关联

说明 需在数据开发模块创建场景节点,且该场景节点被场景引用。单节点 对应数据开发模块,节点模式下已上线的节点任务。指标 对应数据标准模块中的创建的指标。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用