开发大数据

_相关内容

创建EMR表

背景信息 创建 旧版数据开发:EMR计算资源 后,平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据,若您创建EMR计算资源后仍无法在此界面选择到EMR库,请前往数据地图找到该集群的元数据采集器重新采集,详情请参见 采集E-...

CreateBusiness-创建业务流程

调用CreateBusiness,创建数据开发(DataStudio)的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...

MoveWorkflowDefinition-移动数据开发工作流路径

调用此接口,可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...

电商网站智能推荐

电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。概述 本实践以电商网站为例,通过日志服务采集日志,将RDS作为后端数据服务、MaxCompute作为数据...

CreateResource-创建数据开发文件资源

调用此接口,可以在数据开发中创建一个数据开发文件资源,文件资源的信息定义以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作,若 FlowSpec 中定义了不止一个资源文件,则除第一个以外的后续资源文件均会被忽略。调试 您可以在...

绑定Hologres计算资源

创建完成后,可在DataWorks的各功能模块使用该计算资源连接Hologres实例,进行相应的数据同步、数据开发数据分析等操作。前提条件 已 购买Hologres实例 并 创建数据库。重要 购买Hologres实例时,请确保其与DataWorks工作空间位于同一...

DeleteFunction-删除数据开发函数

调用该接口,在数据开发中删除指定的udf函数。接口说明 注意 当这个 udf 函数被发布后,无法删除,必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动...

创建EMR函数

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程,详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后,再新建JAR资源...

AnalyticDB for MySQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 AnalyticDB for MySQL ADB for MySQL。在 新建节点 对话框中...

CreateFunction-创建数据开发函数

调用此接口,可以在数据开发中创建一个udf函数。udf函数信息以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作,若 FlowSpec 中定义了不止一个 udf 函数,则除第一个以外的后续函数均会被忽略。调试 您可以在OpenAPI Explorer中直接...

配置代码模板

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标,进入 设置 页面。在 设置 页面,单击切换至 代码模板 页签,进入 代码...

配置PolarDB输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

开放平台概述

功能简介 开放API(OpenAPI)DataWorks开放平台的OpenAPI功能为您提供开放API能力,通过开放API实现本地服务和DataWorks服务的交互,提升企业大数据处理效率,减少人工操作和运维工作,降低数据风险和企业成本。您还可以在OpenAPI区域查看...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台的执行引擎和...

数据开发定制化展示

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块(即区域2展示的功能)。新用户可根据区域1的提示,在DataStudio界面...

任务调试流程

调试运行单个任务 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。调试运行任务。在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试...

实践示例:E-MapReduce底层脱敏使用方法

新增脱敏场景 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等一级脱敏场景为固定场景,不支持执行新增、编辑、删除等操作,可基于业务需要...

扩展程序审批策略

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标,选择 全部产品 更多 审批中心。在左侧导航栏选择 审批策略管理 扩展程序。创建...

调度周期:周调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置 时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每周一、周五两天定时运行,则在周一、周五生成的实例会正常调度执行,...

工作空间管理

工作空间管理员将成员添加至工作空间中,并赋予该成员不同的角色,例如:空间管理员、数据分析师、部署、开发数据治理管理员、模型设计师、访客、运维、项目所有者、安全管理员,以实现多角色协同工作的业务场景。选择工作空间类型 ...

配置DataHub输出

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

创建并使用AnalyticDB for PostgreSQL节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 AnalyticDB for PostgreSQL ADB for PostgreSQL。在 新建节点...

使用节点组

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您...

UpdateNode-更新数据开发节点信息

调用此接口,可以更新数据开发节点信息。更新通过增量更新的方式进行,更新的信息通过FlowSpec进行描述。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。...

使用内建函数

查看内建函数 在DataWorks控制台中查看函数列表的具体操作如下:登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏中的 函数列表,即可...

调试代码片段:快捷运行

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树,或通过 临时查询...

创建概念模型:维度

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏,单击 维度建模。在 维度建模 页面,鼠标悬停至 图标,单击 概念...

下线节点

报错:请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错:节点存在子节点,导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间,则开发环境和生产环境隔离,在DataWorks的数据开发(DataStudio...

操作审计

节点代码恢复:数据开发回收站可以还原近期删除的节点,但注意节点还原后节点ID是新生成的。使用详情可参考文档:回收站 MaxCompute表数据恢复:提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留...

配置DataHub输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

查看操作记录

数据开发DataStudio界面中,您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录:任务责任人变更操作、任务调度属性变更操作、任务及...

个人开发环境连接Git仓库

Data Studio新版数据开发支持个人开发环境与Git仓库集成,便于代码版本管理和团队协作。本文将介绍如何在个人开发环境中对远程Git仓库代码进行拉取、新增、修改并上传提交等操作。背景信息 Data Studio支持个人开发环境与远程Git仓库集成,...

代码搜索

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域,单击顶部菜单栏的 图标,进入 代码搜索 页面。配置搜索条件并查看搜索结果。...

Data Lake Analytics节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...

创建CDH Impala节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Impala。说明 鼠标悬停至顶部 新增 按钮,根据界面...

应用示例:数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作,详情请参见 开启消息订阅。已完成扩展程序的开发部署操作,详情请参见 开发部署扩展程序:函数计算方式。背景...

调度周期:年调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置 时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行,则在上述指定日期...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

创建解决方案

数据开发模式全面升级,包括工作空间 解决方案 业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

生成数据API

本次实验Hologres数据源,前提是已创建Hologres数据源,在数据开发中绑定Hologres数据源且已创建ads_ec_ec360_gmv_kpi_overview_bi外表。如果没有开通Hologres,也可以使用 数据开发 的MySQL数据源来测试。操作步骤 由于数据服务生成的API...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用