大数据开发未来怎么样

_相关内容

创建Hologres数据

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供Hologres任务的开发与调度能力,若您需要基于该Hologres数据源进行Hologres任务开发,或周期性调度Hologres相关任务,需先...

按应用关联

说明 需在数据开发模块创建场景节点,且该场景节点被场景引用。单节点 对应数据开发模块,节点模式下已上线的节点任务。指标 对应数据标准模块中的创建的指标。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源...

查看数据风险(旧版)

操作步骤 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若阿里云主...

首页

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>数仓规划,默认进入 数仓分层 页面。单击顶部菜单栏右侧的 首页,进入智能...

AnalyticDB for MySQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>AnalyticDB for MySQL>ADB for MySQL。在 新建节点 对话框中...

查看代码结构

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入目标节点的编辑页面。您可以在 数据开发 或 手动业务流程 的目录树下,找到目标节点,双击该节点即可进入节点的...

工作空间概述

后续:开始数据开发 创建工作空间并分配空间成员角色权限后,您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作,数据开发模块的入门教程详情请参见:数据开发:开发者。相关文档 在阅读工作空间的概述后,若您想创建...

大数据安全治理的难点

流转 数据系统通常是端到端的一整套数据开发和治理服务,不仅要采集数据、加工数据,更要将数据提供给业务方使用。因此,其存在错综复杂的数据流转链路,包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...

入门实践

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。导入数据标准。在数据建模页面的顶部菜单栏,单击 数据标准。...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

配置代码模板

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标,进入 设置 页面。在 设置 页面,单击 代码模板,进入 代码模板 页面。设置代码模板。在 ...

DataWorks节点合集

DataWorks的数据开发(DataStudio)模块为您提供多种类型的节点,包括用于数据同步的数据集成节点,用于数据清洗的引擎计算节点(例如,ODPS SQL、Hologres SQL、EMR Hive),以及可对引擎计算节点进行复杂逻辑处理的通用节点(例如,可...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,端到端了解DataWorks使用的全流程,更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

下载建模工具(DDM)

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...

GetFile

该参数与 DataWorks控制台 中,EMR Spark Streaming和EMR Streaming SQL数据开发任务,编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...

编辑器代码提效

进入编辑器界面 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入节点的代码编辑器。在 数据开发 页面的左侧目录树查找目标节点,双击节点名称即可进入节点编辑页面...

创建手动任务

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...

参数节点

本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。背景信息 参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。跨节点传参 当数据开发的业务流程中,某个下游节点的...

使用节点组

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求,...

离线数仓构建流程概述

步骤五:规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一:开发维度逻辑表 步骤二:开发事实逻辑表 步骤三:...

离线数仓构建流程概述

步骤五:规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一:开发维度逻辑表 步骤二:开发事实逻辑表 步骤三:...

运维阶段

背景信息 数据开发人员主要需要处理以下事项:程序异常处理、性能优化。调度异常处理。数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或...

ClickHouse SQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...

为工作空间添加空间成员

创建简单的周期调度任务,请参见 数据开发:开发者。执行完整示例教程,请参见 实际开发场景示例。本文主要以使用正式开发环境为例,为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...

行业模型模版

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>维度建模。在顶部菜单栏单击 行业模型模版,进入行业模型模版页面。该页面...

系统管理

背景信息 建表策略管理:是否允许用户在没有数据模型的情况下,可在数据开发(DataStudio)直接创建MaxCompute物理表。策略启用后,凡是未通过智能数据建模发布,直接在数据开发(DataStudio)创建或修改的MaxCompute物理表,在执行提交、...

建模空间

模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后,模型设计师在进行模型(汇总表、维度表、明细表、应用表)发布时,可以选择将模型物化到被关联的某一个研发空间,后续数据开发工程师即可在对应的工作空间进行数据开发...

敏感数据访问及导出情况

操作步骤 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若阿里云主...

Data Lake Analytics节点

操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作空间所在地域后,单击相应工作空间后的 快速进入>数据开发。鼠标悬停至 图标,单击 新建节点>自定义>Data Lake Analytics。您也可以打开...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务。详情请参见 ...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

迁移Oracle数据至MaxCompute最佳实践

通过DataWorks将数据从Oracle迁移至MaxCompute 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面创建目标表,用于接收从Oracle迁移的数据。右键单击已...

上传数据

上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作,入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下,在 表管理 页面中,对开发表...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

下线任务

通过生产环境运维中心的 周期任务 界面下线的任务,在开发环境将默认回到编辑状态,不会进入回收站,您可在数据开发(DataStudio)界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一:删除开发环境任务 在数据...

模型管理

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>维度建模。在 维度建模 页面单击 图标,进入 模型列表。查看模型列表及...

操作审计

节点代码恢复:数据开发回收站可以还原近期删除的节点,但注意节点还原后节点ID是新生成的。使用详情可参考文档:回收站 MaxCompute表数据恢复:提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务并且当前租户已...

创建业务流程

完成创建后,您可以利用数据开发功能,对工作空间的数据进行深入分析和计算。前提条件 开始本操作前,请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的数据,以及结果表 result_table。详情请参见 建表并上传数据。背景信息 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用