大数据开发

_相关内容

代码搜索

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域,单击顶部菜单栏的 图标,进入代码搜索页面。配置搜索条件并查看搜索结果。...

入门概述

本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks,请确认已经根据 准备工作 模块的操作,准备好账号和工作空间角色等内容后,登录DataWorks控制台,单击相应工作空间后的 进入数据开发,即可进行...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

通用参考:切换资源组

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏,单击 数据开发,找到目标离线同步...

MaxCompute函数管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute,单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列,...

基于模型生成ETL代码

维度表、明细表、汇总表等模型表发布后,DataWorks智能数据建模的模型开发功能支持快速生成代码框架,帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布,操作详情请参见 发布模型至引擎...

参数节点

本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。背景信息 参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。跨节点传参 当数据开发的业务流程中,某个下游节点的...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

数据开发常见问题

本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表?为什么EMR通过DataWorks可视化建表失败报错:call emr exception?如何对生产表添加字段?如何将本地数据上传到...

下线任务

通过生产环境运维中心的 周期任务 界面下线的任务,在开发环境将默认回到编辑状态,不会进入回收站,您可在数据开发(DataStudio)界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一:删除开发环境任务 在数据...

HoloStudio一键迁移至DataStudio

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入HoloStudio一键迁移界面。单击顶部菜单栏的 图标,选择 全部产品>数据开发与运维>Holo Studio。...

HoloStudio(即将下线)

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

任务调试流程

调试运行单个任务 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。调试运行任务。在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试...

发布任务

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布>创建发布包 界面将操作发布至生产环境,有以下两种发布方式可选:单个...

配置基础属性

进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 描述 名称 新建数据开发节点时输入的节点名称,不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID,不可以修改。节点类型 ...

使用节点组

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求,...

数据脱敏能力概述

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

审批中心概述

功能介绍 在DataWorks上进行数据开发管理的过程中,您可以便捷地对表数据、数据服务API等进行权限管控,进行权限管控时,您可以在 审批中心 自定义审批流程,如果涉及 计算引擎审批策略,也可以使用DataWorks 安全中心 为您提供的默认权限...

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

应用示例:数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作,详情请参见 开启消息订阅。已完成扩展程序的开发部署操作,详情请参见 开发部署扩展程序。背景信息 启动扩展...

工作空间概述

后续:开始数据开发 创建工作空间并分配空间成员角色权限后,您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作,数据开发模块的入门教程详情请参见:数据开发:开发者。相关文档 在阅读工作空间的概述后,若您想创建...

创建解决方案

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开启解决方案配置。在左侧导航栏底部,单击 图标。在 设置 页面的 个人设置 页签,勾选 显示解决...

调试代码片段:快捷运行

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树,或通过 临时查询 功能,查找目标...

DataWorks节点合集

DataWorks的数据开发(DataStudio)模块为您提供多种类型的节点,包括用于数据同步的数据集成节点,用于数据清洗的引擎计算节点(例如,ODPS SQL、Hologres SQL、EMR Hive),以及可对引擎计算节点进行复杂逻辑处理的通用节点(例如,可...

镜像管理

数据开发中,创建PyODPS3节点,配置如下内容:import jieba from odps import ODPS from odps.models import TableSchema as Schema,Column,Partition#读取表数据 table=o.get_table('custom_img_test_tb')partition_spec=f"ds={args['...

DataWorks新版数据源公告

若想使用创建的数据源进行数据开发,则数据源创建完成后还需进入数据开发(DataStudio)进行模块绑定。已绑定的计算引擎:已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎:不再支持直接编辑计算引擎,如需编辑可直接通过编辑...

创建AnalyticDB for PostgreSQL表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建表>AnalyticDB for PostgreSQL>表。您也可以打开相应...

提交并发布模型

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查看数据模型。在左侧导航栏,单击 模型管理。说明 如果左侧导航栏未显示 模型管理 图标,您可 在DataStudio界面左侧...

创建EMR函数

新建EMR资源详情可参考文档:创建和使用EMR资源 操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作空间所在地域后,单击相应工作空间后的 快速进入>数据开发。新建业务流程,详情请参见 创建...

创建手动任务

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面左侧导航栏选择 手动业务流程。若您界面没有该菜单,请参见 改变布局:定制化展示...

用户授权与管理

使用数据建模DATABLAU功能时,在进行定义标准、数据建模、数据开发、部署运维等不同任务时,通常需不同角色的用户进行操作,对应用户需获取相应的权限。本文为您介绍制定标准、数据建模并应用部署过程中推荐的用户角色权限规划与授权操作...

对接使用CDH与CDP

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程,根据界面提示填写业务流程信息。单击创建好的业务流程,在 CDH 引擎文件夹上右键选择...

开发阶段

您在完成需求评审、模型与调度设计后,即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中,开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试,以便后续测试工作可以顺利开展。开发阶段...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,端到端了解DataWorks使用的全流程,更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析...

运维阶段

背景信息 数据开发人员主要需要处理以下事项:程序异常处理、性能优化。调度异常处理。数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或...

子账号使用DataWorks

访客 仅有只读权限,可以查看数据开发页面的业务流程设计和代码内容。安全管理员 仅有数据保护伞模块的操作权限,详情请参见 数据保护伞。使用子账号登录 DataWorks控制台,单击 数据开发 页面的 DataStudio。您可以根据业务需求进行数据...

配置示例:MaxCompute

单击当前页面左上方的 图标,选择 全部产品>数据开发与运维>DataStudio(数据开发)。在数据开发页面左侧导航栏,单击数据源,绑定已添加的MaxCompute数据源。说明 本示例使用的测试表中添加的测试数据来自MaxCompute 公开数据集,实际配置...

系统管理

背景信息 建表策略管理:是否允许用户在没有数据模型的情况下,可在数据开发(DataStudio)直接创建MaxCompute物理表。策略启用后,凡是未通过智能数据建模发布,直接在数据开发(DataStudio)创建或修改的MaxCompute物理表,在执行提交、...

入门实践

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。导入数据标准。在数据建模页面的顶部菜单栏,单击 数据标准。...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用