大数据的应用开发

_相关内容

什么是交通云控平台

交通云控平台是阿里云面向交通行业打造的,可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用开发提供图、数、智、控、云、视等能力,交通行业开发者可基于平台...

虚拟节点

本文为您介绍虚拟节点的应用场景及创建与使用。前提条件 RAM账号添加至对应空间(可选)。进行任务开发的RAM账号已被添加至对应工作空间中,并具有 开发 或 空间管理员(权限较,谨慎添加)角色权限。添加成员并授权,详情请参见 为工作...

ListDataServiceApplications-获取数据服务应用的基础...

您可登录 DataWorks 控制台,进入数据开发(DataStudio)页面,单击右上方当前登录用户名称,选择菜单 用户信息,获取租户 ID。100002 返回参数 名称 类型 描述 示例值 object HttpStatusCode integer HTTP 状态码。200 RequestId string ...

什么是DataWorks

适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、数据AI一体化开发数据分析与主动式数据...

场景:调度参数在数据集成的典型应用场景

场景四:同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性,当您创建任务当天需要将历史数据进行补齐时,您可使用补数据功能,补数据支持补历史一段时间的数据或者未来一段时间的数据,调度参数将在任务调度时...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...

实例生成方式:发布后即时生成实例

若需执行当天数据,可选择进行补数据操作,补业务时间昨天的数据。该操作生成实例时也会存在10分钟的时间差,详情请参见 注意事项。示例:假设任务发布至生产环境的时间为 12:00,则实时转实例生效时间点为 12:10。若任务的定时时间在 12...

do-while节点逻辑原理介绍

应用场景 与赋值节点联合使用 do-while节点与 赋值节点 联合使用时,典型的应用场景和注意事项如下所示:注意事项 配置案例 配置案例 使用 do-while节点 进行循环任务时,内部节点的循环任务在每一次循环时,需要获取使用上游节点(up节点...

基于SQL的应用开发

语言 相关文档 Java 基于Java JDBC接口的应用开发 基于Java连接池Druid的应用开发 基于LindormDataSource的应用开发 基于Java ORM框架MyBatis的应用开发 Python 基于Python的应用开发 基于Python ORM框架的应用开发 Go 基于Go的应用开发 ...

应用开发概览

本文介绍了 OceanBase 数据应用开发常用的文档链接。规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称...

技术架构选型

在数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。...DataWorks则包括数据开发数据质量、数据安全、数据管理等在内的一系列功能。

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定后您可以创建计算任务并进行周期调度。使用...

大数据AI公共数据集分析

操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks:一站式大数据开发与治理平台,创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。MaxCompute:适用于数据分析场景的企业级SaaS模式云数据...

大数据开发治理平台 DataWorks

大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...

Notebook 查询与分析

多引擎开发:DataWorks Notebook拥有SQL Cell功能,支持多种大数据引擎的SQL开发与分析。交互式分析:交互式SQL查询:通过Python编写Widgets组件,通过在组件中直观选择或设置参数的取值,后续可以进一步在SQL中引用相同参数及取值,从而...

ETL工作流快速体验

案例提供的数据仅用于阿里云数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组,...

开放事件(OpenEvent)

数据下载前置事件-文件下载 不支持 支持 数据上传前置事件 不支持 支持 空间级事件 数据开发 数据开发消息格式详情请参见:数据开发事件列表。事件类型 事件 普通事件 扩展点事件 示例(产生事件消息的操作)节点变更 新增节点 支持 不支持...

快速入门

说明 语言 列显示 图标的应用为接入应用监控的应用,显示-图标的应用为接入可观测链路 OpenTelemetry 版的应用。后续步骤 将应用数据上报至 可观测链路 OpenTelemetry 版 后,您可以在ARMS控制台执行以下操作:查看应用总览 查看应用详情 ...

三方组件

物联网应用开发(IoT Studio)提供了三方组件功能。三方组件是由第三方开发者开发个人组件后,以组件包的方式上传到IoT Studio平台后提供给所有开发者使用的组件。本文主要介绍三方组件的上线、开通及其使用方法。背景信息 物联网应用开发...

工作空间模式区别

绑定后,在不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源(实例,项目、数据库)操作生产环境数据源(实例,项目、数据库)运维中心 开发环境运维中心:...

数据下载

在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...

MaxCompute函数管理

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据...

数据开发流程引导

DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...

进阶:商品订单畅销类目分析

使业务人员无需深入技术细节即可完成数据价值转换,降低企业大数据应用门槛。通过本教程,您可以快速完成以下操作。数据同步:通过DataWorks的数据集成模块,创建离线同步任务,将业务数据同步至数据计算平台(如MaxCompute)。数据清洗...

执行冒烟测试

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试,开启强制冒烟测试功能后,当前工作...

快速入门

本文是阿里云Web可视化开发的快速入门指南,将通过创建产品、搭建应用、发布三个步骤,带您从零到一完成一个物联网开关监控应用开发

代码搜索

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域,单击顶部菜单栏的 图标,进入 代码搜索 页面。配置搜索条件并查看搜索结果。...

添加宜搭数据

宜搭是阿里巴巴自研的低代码应用构建平台,您可以通过可视化拖拽的方式,快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法,以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...

创建解决方案

数据开发模式全面升级,包括工作空间 解决方案 业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

配置PolarDB输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

添加宜搭数据

宜搭是阿里巴巴自研的低代码应用构建平台,您可以通过可视化拖拽的方式,快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法,以及相关参数配置说明。前提条件 已使用钉钉账号登录 宜搭控制台,并成功创建了一个 宜...

实践示例:E-MapReduce底层脱敏使用方法

新增脱敏场景 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等一级脱敏场景为固定场景,不支持执行新增、编辑、删除等操作,可基于业务需要...

宿主应用数据

宿主应用数据 允许开发者在应用中创建可由宿主应用传入的变量。其中宿主应用指使用 Web SDK 等方式集成了魔笔应用的上层应用。本文档将详细介绍如何在魔笔平台中配置和使用宿主应用数据。配置宿主应用数据 在魔笔平台中,配置宿主应用数据...

数据开发定制化展示

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块(即区域2展示的功能)。新用户可根据区域1的提示,在DataStudio界面...

绑定Hologres计算资源

创建完成后,可在DataWorks的各功能模块使用该计算资源连接Hologres实例,进行相应的数据同步、数据开发数据分析等操作。前提条件 已 购买Hologres实例 并 创建数据库。重要 购买Hologres实例时,请确保其与DataWorks工作空间位于同一...

Token鉴权

开启应用鉴权 登录 物联网应用开发控制台,在页面左上角选择对应实例后,在左侧导航栏单击 应用开发。您也可登录 物联网平台控制台,在左侧导航栏选择 增值服务,单击 选购增值服务 中的 前往查看服务,在 增值服务中心,单击 IoT Studio ...

绑定ClickHouse计算资源

后续操作 新版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过 离线同步节点 进行数据同步操作、通过 ClickHouse SQL节点 进行数据开发操作。旧版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过 数据集成 离线...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

绑定AnalyticDB for PostgreSQL计算资源

若您要使用DataWorks进行云原生数据仓库AnalyticDB PostgreSQL版实例(以下简称 AnalyticDB for PostgreSQL)任务的开发、管理,需先将您的AnalyticDB for PostgreSQL实例绑定为DataWorks的AnalyticDB for PostgreSQL计算资源。创建完成后...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用