大数据应用开发方向

_相关内容

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

创建解决方案

数据开发模式全面升级,包括工作空间 解决方案 业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

开放事件(OpenEvent)

数据下载前置事件-文件下载 不支持 支持 数据上传前置事件 不支持 支持 空间级事件 数据开发 数据开发消息格式详情请参见:数据开发事件列表。事件类型 事件 普通事件 扩展点事件 示例(产生事件消息的操作)节点变更 新增节点 支持 不支持...

产品概述

DataV-Board(数据看板)DataV-Board面向数据可视化应用开发场景,提供专业的低代码搭建工具Board,帮助开发人员通过拖拽式画布编辑和蓝图编辑器,实现大中小屏各类可视化应用的低代码搭建.满足会议展览、业务监控、风险预警、地理信息分析...

API概览

本产品(云原生应用开发平台 FunctionAI/2023-07-14)的OpenAPI采用 ROA 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不...

代码搜索

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域,单击顶部菜单栏的 图标,进入 代码搜索 页面。配置搜索条件并查看搜索结果。...

执行冒烟测试

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试,开启强制冒烟测试功能后,当前工作...

域名管理

绑定域名 登录 物联网应用开发控制台,在页面左上角选择对应实例后,在左侧导航栏单击 应用开发。在 最近开发 的 移动应用 列表中,找到目标应用,单击应用名称。在移动应用编辑器中,单击最左侧的 应用设置 图标。在 应用设置 页,选择 ...

域名管理

绑定域名 登录 物联网应用开发控制台,在页面左上角选择对应实例后,在左侧导航栏单击 应用开发。在 最近开发 的 Web应用 列表中,找到目标应用,单击应用名称。在Web应用编辑器中,单击最左侧的 应用设置 图标。在 应用设置 页面,选择 ...

配置PolarDB输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

数据开发流程引导

DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...

查看操作记录

数据开发DataStudio界面中,您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录:任务责任人变更操作、任务调度属性变更操作、任务及...

CDH Spark节点

Spark是一个通用的大数据分析引擎,具有高性能、易用和普遍性等特点,可用于进行复杂的内存分析,构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点,便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...

概述

本文介绍物联网应用开发提供的相关API接口,及各API接口的用法。使用说明 调用API的方法和说明,请参见以下文档。调用API 公共参数 错误码 为更好的保护您的阿里云账号安全,建议使用RAM用户身份来调用API。授予RAM用户IoT API访问权限,请...

KingbaseES(人大金仓)节点

背景信息 KingbaseES是一个大型关系型数据库管理系统(RDBMS),支持SQL标准,适合于处理大量数据、要求高并发和高可用性的企业级应用场景。更多介绍请参见 KingbaseES官网。前提条件 已创建业务流程。数据开发(DataStudio)基于业务流程...

东软案例

东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点,将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据应用运行代码...

实践示例:E-MapReduce底层脱敏使用方法

当项目用户具备查询E-MapReduce项目中的某些敏感数据权限,担忧不希望用户能看到完整的敏感数据信息时,可以对查询结果进行数据动态脱敏。本文为您介绍如何开启E-MapReduce的动态脱敏功能,并提供参考示例。使用限制 EMR集群仅支持数据保护...

绑定Hologres计算资源

旧版数据开发:配置完Hologres计算资源后,您可在数据开发中通过 数据集成 离线同步 节点进行数据同步操作、通过 旧版Hologres相关节点 进行数据开发。常见问题 报错信息:FAILED:Build connection error!Connection to xxx.hologres....

绑定ClickHouse计算资源

后续操作 新版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过 离线同步节点 进行数据同步操作、通过 ClickHouse SQL节点 进行数据开发操作。旧版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过 数据集成 离线...

什么是云原生应用组装平台BizWorks

云原生应用组装平台BizWorks是基于组装式理念和阿里巴巴中台实践构建的一体化云原生应用开发和组装平台,提供了业务建模、微服务开发、轻应用组装、能力开放等平台功能,致力于帮助企业快速设计、构建、组装和运营可复用的业务能力组件和...

分析温湿度时序数据

数据分析是物联网应用开发(IoT Studio)的一个重要组件,通过数据分析组件,可简单查阅各数据中各事件维度的统计值,例如平均值,最大值,最小值等。支持通过图表选择不同的数据维度,探索各数据之间的关系。操作步骤 登录 数据分析控制台...

应用发布与使用

返回物联网平台 IoT Studio 应用开发 页面,或应用所在项目的 主页,单击 移动应用 页签,单击已发布应用操作栏的 发布地址,可查并复制应用访问地址。后续操作 在官方适配的手机上复制应用的访问地址,可直接访问使用已发布的应用。有关...

绑定AnalyticDB for PostgreSQL计算资源

若您要使用DataWorks进行云原生数据仓库AnalyticDB PostgreSQL版实例(以下简称 AnalyticDB for PostgreSQL)任务的开发、管理,需先将您的AnalyticDB for PostgreSQL实例绑定为DataWorks的AnalyticDB for PostgreSQL计算资源。创建完成后...

应用场景

本文详细介绍DataWorks 的应用场景:如何构建离线与实时一体化的企业级智能云数仓,打破数据时效性壁垒,加速业务决策。构建离线实时一体化企业级智能云数仓 业务挑战 在数字化竞争日益激烈的今天,企业对数据时效性的要求越来越高,但传统...

数据安全概述

典型应用场景:数据分析场景的即席查询、数据开发场景的生产数据开发数据消费里的数据服务等。静态脱敏 直接修改底层数据的存储,数据存储时就已经是加密或者脱敏过的,例如常见的pn_md5。典型应用场景:数据集成时对敏感数据加密、数...

数据安全概述

典型应用场景:数据分析场景的即席查询、数据开发场景的生产数据开发数据消费里的数据服务等。静态脱敏 直接修改底层数据的存储,数据存储时就已经是加密或者脱敏过的,例如常见的pn_md5。典型应用场景:数据集成时对敏感数据加密、数...

大数据开发治理平台 DataWorks系统权限策略参考

本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...

什么是解决方案

物联网应用开发(IoT Studio)的解决方案是针对不同普通项目的功能特性定制发布的资源组合,包含项目中已发布的产品、应用、服务、硬件信息或说明文档等。您可根据实际需要添加所需资源,组合发布为个人解决方案、授权解决方案或公开解决...

快速入门

C++应用 通过OpenTelemetry上报C++应用数据 通过Jaeger上报C++应用数据 Ruby应用 通过OpenTelemetry上报Ruby应用数据 Swift应用 通过OpenTelemetry上报Swift应用数据 Android应用 通过OpenTelemetry上报Android应用数据 Rust应用 通过...

同工作空间发布

适用场景 该功能仅支持 标准模式且使用了新版数据开发 的工作空间,在同一工作空间下,将节点、函数、资源、组件等对象批量从开发环境发布至生产环境。说明 标准模式的旧版数据开发同空间批量发布流程请参见 发布任务。使用限制 权限限制 ...

产品教程

MaxCompute Hologres EMR Spark 数据分析 大数据AI公共数据集分析 本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,...

应用开发教程

基于Java连接池Druid的应用开发 基于Python的应用开发 基于Python ORM框架的应用开发 基于Go的应用开发 基于Go ORM框架的应用开发 基于C API的应用开发 基于C#的应用开发 基于Rust的应用开发 基于PHP的应用开发 基于Node.js的应用开发 基于...

绑定AnalyticDB for MySQL3.0计算资源

若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、...旧版数据开发:配置完AnalyticDB for MySQL(V3.0)计算资源后,您可在数据开发中通过 数据集成 离线同步 节点进行数据同步操作,通过 AnalyticDB for MySQL 节点进行数据开发

ClusterConfig

ide:DataStudio(数据开发)。scheduler.backfill:运维中心-补数据实例。da:数据分析。scheduler.auto:运维中心-周期实例。ide ConfigValue string 配置值。{"spark.driver.memory":"1g"} EnableOverwrite boolean 是否覆盖数据开发中...

数据源配置

数据源用于连接各类数据库和存储服务(如MaxCompute、MySQL、OSS等),是 数据集成同步任务 的必备配置,决定任务读取(数据来源)和写入(数据去向)的数据库。数据源的作用 在数据集成任务中,数据源扮演着数据流动两端的“端点”角色:...

运行历史

运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录,单击相应的任务,即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发(DataStudio)最近三天的运行记录。如您需查看调度任务每日运行情况,请前往 运维...

配置AnalyticDB for MySQL输出

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开目标业务流程,右键单击 数据集成...

配置DataHub输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用