大数据开发框架

_相关内容

首页

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>数仓规划,默认进入 数仓分层 页面。单击顶部菜单栏右侧的 首页,进入智能...

AnalyticDB for MySQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>AnalyticDB for MySQL>ADB for MySQL。在 新建节点 对话框中...

数仓开发任务流

配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点:除数据集成节点之外的其他节点。数据开发节点,试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作,您...

必读:简单模式和标准模式的区别

附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 ...

入门实践

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。导入数据标准。在数据建模页面的顶部菜单栏,单击 数据标准。...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

DataWorks节点合集

DataWorks的数据开发(DataStudio)模块为您提供多种类型的节点,包括用于数据同步的数据集成节点,用于数据清洗的引擎计算节点(例如,ODPS SQL、Hologres SQL、EMR Hive),以及可对引擎计算节点进行复杂逻辑处理的通用节点(例如,可...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,端到端了解DataWorks使用的全流程,更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

下载建模工具(DDM)

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...

GetFile

该参数与 DataWorks控制台 中,EMR Spark Streaming和EMR Streaming SQL数据开发任务,编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...

创建手动任务

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...

对接使用CDH与CDP

以下简称 CDH)与CDP(Cloudera Data Platform,以下简称CDP)集群对接的能力,在保留CDH集群或CDP集群作为存储和计算引擎的前提下,您可以使用DataWorks的任务开发、调度、数据地图(元数据管理)和数据质量等一系列的数据开发和治理功能...

参数节点

本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。背景信息 参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。跨节点传参 当数据开发的业务流程中,某个下游节点的...

离线数仓构建流程概述

步骤五:规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一:开发维度逻辑表 步骤二:开发事实逻辑表 步骤三:...

使用节点组

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求,...

功能发布记录(2024年)

2024.2.21 DataWorks On CDP/CDH使用说明 数据开发新增CDH集群节点 您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。2024.2.19 所有地域 所有DataWorks用户 创建CDH Hive节点 创建CDH Spark节点 ...

运维阶段

背景信息 数据开发人员主要需要处理以下事项:程序异常处理、性能优化。调度异常处理。数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或...

ClickHouse SQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...

为工作空间添加空间成员

创建简单的周期调度任务,请参见 数据开发:开发者。执行完整示例教程,请参见 实际开发场景示例。本文主要以使用正式开发环境为例,为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...

行业模型模版

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>维度建模。在顶部菜单栏单击 行业模型模版,进入行业模型模版页面。该页面...

系统管理

背景信息 建表策略管理:是否允许用户在没有数据模型的情况下,可在数据开发(DataStudio)直接创建MaxCompute物理表。策略启用后,凡是未通过智能数据建模发布,直接在数据开发(DataStudio)创建或修改的MaxCompute物理表,在执行提交、...

建模空间

模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后,模型设计师在进行模型(汇总表、维度表、明细表、应用表)发布时,可以选择将模型物化到被关联的某一个研发空间,后续数据开发工程师即可在对应的工作空间进行数据开发...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务。详情请参见 ...

Data Lake Analytics节点

操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作空间所在地域后,单击相应工作空间后的 快速进入>数据开发。鼠标悬停至 图标,单击 新建节点>自定义>Data Lake Analytics。您也可以打开...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

上传数据

上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作,入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下,在 表管理 页面中,对开发表...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

下线任务

通过生产环境运维中心的 周期任务 界面下线的任务,在开发环境将默认回到编辑状态,不会进入回收站,您可在数据开发(DataStudio)界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一:删除开发环境任务 在数据...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务并且当前租户已...

操作审计

节点代码恢复:数据开发回收站可以还原近期删除的节点,但注意节点还原后节点ID是新生成的。使用详情可参考文档:回收站 MaxCompute表数据恢复:提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留...

创建业务流程

完成创建后,您可以利用数据开发功能,对工作空间的数据进行深入分析和计算。前提条件 开始本操作前,请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的数据,以及结果表 result_table。详情请参见 建表并上传数据。背景信息 ...

创建MaxCompute数据

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供MaxCompute任务的开发与调度能力,若您需要基于该MaxCompute数据源进行MaxCompute任务开发,或周期性调度MaxCompute相关...

使用MaxCompute独享Tunnel进行数据同步

脚本模式同步任务使用独享传输资源 进入数据开发界面,打开或新建离线同步任务节点,在任务下方工具栏单击,转换为脚本模式,配置独享传输资源组,示例如下:{"stepType":"odps","parameter":{"partition":[],"datasource":"odps_source",...

接入方式介绍

基于 mPaaS 框架接入 mPaaS iOS 框架是源自支付宝客户端的开发框架。该框架直接接管应用的生命周期,负责整个应用 启动托管、应用生命周期管理。同时基于 Framework 的设计思想,将业务隔离成相对独立的模块,着力于追求模块之间的高內聚、...

独享资源组

切换在数据开发测试运行时任务使用的资源组:如果您需要切换测试运行时的调度资源组,请选择 高级运行。切换生产调度运行时任务使用的调度资源组:在数据开发界面通过发布流程切换生产任务执行时使用的调度资源组。在数据开发界面打开节点 ...

配置DTS数据迁移节点

说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>集成与开发(DTS)>数据开发>任务编排。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。单击目标任务流名称,进入任务流详情页面。说明 如果您...

发布任务

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布>创建发布包 界面将操作发布至生产环境,有以下两种发布方式可选:单个...

发布模型至引擎

模型创建成功后,您需将维度表、明细表、汇总表、应用表通过发布操作物化...后续步骤 模型发布至目标引擎后,您可进入DataWorks的数据开发页面,基于该汇总表进行相关的数据开发操作。数据开发的功能介绍,详情请参见 数据开发界面功能介绍。

全景视角

数据生产视角:在数据开发场景下,建议您使用数据生产视角,关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见:数据生产视角。说明 您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限,才能使用 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用