大数据开发

_相关内容

DataWorks HoloStudio下线公告

尊敬的DataWorks用户:为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据...

DeleteFolder-删除数据开发页面的文件夹

调用DeleteFolder删除数据开发页面的文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...

绑定交互式分析实例

进入DataWorks工作间之后,单击左上角的 图标,选择 全部产品>数据开发与运维>HoloStudio,进入HoloStudio开发界面。进入HoloStudio后,在 PG管理 单击 刷新,即可看到已成功绑定DB,之后您可以开始使用HoloStudio开发。选择已有工作空间...

创建CDH Impala节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点>CDH>CDH Impala。说明 鼠标悬停至顶部 新增 按钮,根据界面...

DeleteFile-删除数据开发中的文件

调用DeleteFile删除数据开发中的文件。如果文件已经提交过,那么DeleteFile API会同时触发一个异步在调度系统删除的流程,需要用DeleteFile API返回的DeploymentId继续调用GetDeployment轮询被触发的异步删除流程的状态。调试 您可以在Open...

数据计算计费说明

费用产生场景 使用新版资源组在以下模块运行计算型任务,会产生相应计算费用:数据开发:在数据开发(DataStudio)运行数据计算任务,任务代码执行将产生数据计算费用。数据质量:若数据计算任务配置了数据质量校验规则,执行规则校验的SQL...

运行历史

运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录,单击相应的任务,即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发(DataStudio)最近三天的运行记录。如您需查看调度任务每日运行情况,请前往 运维...

GetFile-获取文件的详情

该参数与 DataWorks 控制台 中,EMR Spark Streaming 和 EMR Streaming SQL 数据开发任务,编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。true InputParameters object[]节点上下文输入参数。该参数与 DataWorks 控制台 中,数据...

创建和使用EMR资源

DataWorks支持可视化创建EMR(E-MapReduce)JAR、EMR(E-MapReduce)FILE资源,用于上传提交自定义函数或开源MR示例源码作为资源,便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源,并上传提交资源,为资源的使用做好前期...

为工作空间添加空间成员

创建简单的周期调度任务,请参见 数据开发:开发者。执行完整示例教程,请参见 实际开发场景示例。本文主要以使用正式开发环境为例,为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...

下载建模工具(DDM)

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...

必读:简单模式和标准模式的区别

附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 ...

引用SQL组件

您可通过创建数据开发(DataStudio)的SQL组件节点使用组件,基于组件快速新建数据处理节点,提高开发效率。本文为您介绍如何引用组件。前提条件 已准备所需使用的组件,详情请参见 定义SQL组件。已创建SQL组件节点,详情请参见 创建并管理...

创建ClickHouse数据

后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度...

测试分析方案报告

指标名称 字段来源 业务规则 系统架构分析 概括当前项目数据开发总体的流程和范围。测试过程管理 测试版本控制 代码从测试环境发布至开发环境后,需描述此部分。项目交付测试通过后,每天上午9点、下午3点接受开发提交的新版本,其他时间...

CreateUdfFile-在数据开发中创建函数类型文件

调用CreateUdfFile,在数据开发中创建函数类型文件。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...

创建并使用AnalyticDB for PostgreSQL节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>AnalyticDB for PostgreSQL>ADB for PostgreSQL。在 新建节点...

创建并管理维表

已在DataWorks工作空间创建MaxCompute数据源并将数据源绑定到数据开发中,详情请参见 创建MaxCompute数据源、开发前准备:绑定数据源或集群。已创建MaxCompute表,详情请参见 创建并使用MaxCompute表。使用限制 您需要拥有DataWorks工作...

ClickHouse SQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...

数据地图概述

说明 如果需要在 数据开发 中 表管理 进行可视化建表操作,请先在数据地图进行元数据采集,可视化建表操作请参见 表管理。网络连通 如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常...

行业模型模版

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>维度建模。在顶部菜单栏单击 行业模型模版,进入行业模型模版页面。该页面...

创建EMR表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建表>EMR>表。您也可以找到相应的业务流程,右键单击 EMR,单击 新建表。...

创建业务流程

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建业务流程。在 新建业务流程 对话框中,输入 业务名称 和 描述。单击 新建。创建完成后:您...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

创建Hologres数据

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供Hologres任务的开发与调度能力,若您需要基于该Hologres数据源进行Hologres任务开发,或周期性调度Hologres相关任务,需先...

批量操作

操作步骤 登录DataWorks控制台,进入 数据开发 页面后,在顶部的快捷操作按钮中单击 批量操作 按钮,即可打开批量操作页面。批量修改。在 批量操作 页面中,您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的...

CreateBusiness-创建业务流程

调用CreateBusiness,创建数据开发(DataStudio)的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...

AnalyticDB for MySQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>AnalyticDB for MySQL>ADB for MySQL。在 新建节点 对话框中...

数据集成计费说明

费用产生场景 通过如下方式运行数据同步任务,会产生相应同步费用:数据开发:在数据开发(DataStudio)运行离线同步任务。数据集成:在数据集成页面运行同步任务。运维中心:在运维中心运行数据集成任务。DataWorks支持的数据同步任务,请...

透视分析:按研发链路

支持您按照研发链路(数据同步和数据开发)查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务,合理调整消费结构,发现阻塞任务运行的问题并...

管理中心功能概览

说明 MaxCompute、ClickHouse、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL计算引擎管理功能已转移至 数据开发>数据源 页面。E-MapReduce、CDH/CDP集群管理功能转移至 管理中心>开源集群 页面。开发前准备:绑定数据源或...

首页

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据建模>数仓规划,默认进入 数仓分层 页面。单击顶部菜单栏右侧的 首页,进入智能...

场景:数据开发定制化展示

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块(即区域2展示的功能)。新用户可根据区域1的提示,在DataStudio界面...

上传数据

DataWorks的DataStudio(数据开发)支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中,本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...

运行及排错

测试运行 单击当前页面左上角的 图标,选择 全部产品>数据开发与运维>运维中心(工作流),进入 运维中心 页面。在左侧导航栏,单击 周期任务运维>周期任务。在弹出的页面中,找到目标节点,在 操作 列中单击 测试。在 冒烟测试 对话框中,...

生成数据API

本次实验Hologres数据源,前提是已创建Hologres数据源,在数据开发中绑定Hologres数据源且已创建ads_ec_ec360_gmv_kpi_overview_bi外表。如果没有开通Hologres,也可以使用 数据开发 的MySQL数据源来测试。操作步骤 由于数据服务生成的API...

AbolishDataServiceApi-下线数据服务API

您可登录 DataWorks 控制台,进入数据开发(DataStudio)页面,单击右上方当前登录用户名称,选择菜单>用户信息,获取租户 ID。10002 ProjectId long 是 工作空间的 ID。10001 ApiId long 是 数据服务 API 的 ID。10000 返回参数 名称 类型...

创建并使用PAI Studio节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建节点>算法>PAI Studio。在 新建节点 对话框中,输入...

建模空间

模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后,模型设计师在进行模型(汇总表、维度表、明细表、应用表)发布时,可以选择将模型物化到被关联的某一个研发空间,后续数据开发工程师即可在对应的工作空间进行数据开发...

Data Lake Analytics节点

操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作空间所在地域后,单击相应工作空间后的 快速进入>数据开发。鼠标悬停至 图标,单击 新建节点>自定义>Data Lake Analytics。您也可以打开...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用