大数据的应用开发与特点

_相关内容

配置Kafka输出

操作步骤 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标...

系统管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏,单击 数仓规划,进入 数仓分层。在左侧导航栏,单击 系统管理,...

发布任务

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布 创建发布包 界面将操作发布至生产环境,有以下两种...

配置数据脱敏

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

数据落标

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。单击上方导航栏内的 维度建模 进入维度建模页面,选择需要配置数据落标的表,双击表名称进入表详情...

同步数据

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。设计业务流程 新建业务流程。数据开发需基于业务流程使用对应的开发组件进行具体开发操作。在创建...

应用评估

应用评估用于衡量应用与数据库整体迁移改造的情况,可以展示应用需要改造的地方,并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题:难以估算应用改造的工作量。难以制定...

什么是IoT Studio

快速了解IoT Studio 物联网应用开发提供了Web可视化开发、移动可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具,解决物联网开发领域的开发链路长、定制化程度高、投入产出比低、技术栈复杂、协同成本高、方案移植...

认证文件管理

认证文件管理是DataWorks的核心安全功能,用于统一管理访问数据源的身份凭证。本文系统阐述了其上传、管理到引用的完整操作及应用场景,从而保障数据开发集成的安全规范。

什么是Web可视化开发

无需写代码,只需在编辑器中,拖拽组件到画布上,再配置组件的显示样式、数据源及交互动作,以可视化的方式进行Web应用开发。适用于开发状态监控面板、设备管理后台、设备数据分析报表等。功能特点 免代码开发:Web可视化工作台物联网...

应用开发概览

本文介绍了 OceanBase 数据应用开发常用的文档链接。规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称...

产品概述

DataV-Board(数据看板)DataV-Board面向数据可视化应用开发场景,提供专业的低代码搭建工具Board,帮助开发人员通过拖拽式画布编辑和蓝图编辑器,实现大中小屏各类可视化应用的低代码搭建.满足会议展览、业务监控、风险预警、地理信息分析...

技术架构选型

数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发数据质量、数据安全、数据管理等在内的一系列功能。

数据库节点

DataWorks支持创建多种数据库节点,以便于SQL任务的开发、周期性调度及其他作业的集成操作。前提条件 RAM账号添加至对应空间(可选)。进行任务开发的RAM账号已被添加至对应工作空间中,并具有 开发 或 空间管理员(权限较,谨慎添加)...

IoT数据自动化同步至云端解决方案

单击当前页面左上角的 图标,选择 全部产品 数据开发与运维 DataStudio(数据开发),在数据开发页面新建业务流程,详情请参见 通过脚本模式配置离线同步任务。新建离线同步节点,详情请参见 通过脚本模式配置离线同步任务。在离线同步节点...

最佳实践

适用场景 需要对接分布式数据库的用户的应用场景总是多种多样的。PolarDB-X 2.0结合新老应用的库表使用、SQL复杂情况以及对性能吞吐的要求,将用户的应用场景大体上划分为四种典型类型,如下表所示:应用类型 示例 总体概况 SQL 特点 大量...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定后您可以创建计算任务并进行周期调度。使用...

产品形态选型

支持在线业务与大数据任务混合运行,降低成本。利用 ACK 弹性与 ECI,扩缩容更快。适合已建立容器化架构的企业,但不建议作为首选方案。大数据组件(如 Spark、Presto)的稳定性更多依赖用户自管。适合具备大数据组件运维知识和能力的企业...

组件操作

Superset 计算引擎 EMR支持多种主流计算引擎,如批处理、交互分析、流式计算、机器学习等,通过对数据进行结构和逻辑的转换,满足不同的大数据应用场景。组件类型 组件名称 组件说明 常用文档 开源 Spark Spark是一个快速通用的数据处理...

创建MongoDB数据

说明 通常情况下,生产数据源和开发数据源需配置为非同一个数据源,以实现开发数据生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 支持多副本模式,...

创建CDH Spark节点

Spark是一个通用的大数据分析引擎,具有高性能、易用和普遍性等特点,可用于进行复杂的内存分析,构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点,便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...

创建MongoDB数据

说明 通常情况下,生产数据源和开发数据源需配置为非同一个数据源,以实现开发数据生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 支持多副本模式,...

节点开发

270 CDH_HIVE CDH Spark 通用的大数据分析引擎,具有高性能、易用和普遍性等特点,可用于进行复杂的内存分析,构建大型、低延迟的数据分析应用。271 CDH_SPARK CDH Spark SQL 可实现分布式SQL查询引擎对结构化数据的处理,提高作业的执行...

东软案例

东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点,将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据应用运行代码...

实时曲线

配置方法Web应用开发中的实时曲线类似,其中仅 实时数据时间段 配置项不同。移动应用开发仅支持展示 近半小时、近一小时、近三小时 数据。更多参数说明请参见 实时曲线的配置数据源。单击 确定。步骤三:配置样式 在右侧样式中,完成组件...

创建达梦(DM)数据

说明 通常情况下,生产数据源和开发数据源需配置为非同一个数据源,以实现开发数据生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 连接方式 支持 单机 和 ...

文件

DataWorks 文件是专为大数据平台设计的、支持多计算节点共享访问的文件存储服务。本文系统阐述了其核心概念、应用场景、功能特性与操作方法,助您构建统一、高效的数据开发与协作环境。

创建达梦(DM)数据

说明 通常情况下,生产数据源和开发数据源需配置为非同一个数据源,以实现开发数据生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 连接方式 支持 单机 和 ...

大数据AI公共数据集分析

操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks:一站式大数据开发与治理平台,创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。MaxCompute:适用于数据分析场景的企业级SaaS模式云数据...

什么是云数据库MongoDB版

具备灵活的数据模型、高效的索引机制等特点,适用于需要快速迭代和存储多样化数据格式的应用场景。详情请参见 什么是MongoDB?数据结构 MongoDB是面向文档的NoSQL数据库,它的数据结构由字段(Field)和值(Value)组成,类似于JSON对象,...

CDH Spark节点

Spark是一个通用的大数据分析引擎,具有高性能、易用和普遍性等特点,可用于进行复杂的内存分析,构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点,便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...

什么是阿里云应用服务器

阿里云应用服务器(AliEE)是一款企业级JavaEE的应用服务器软件,用于构建和部署企业级应用程序。它提供了一个可扩展、可靠、安全的平台,支持多种应用程序开发语言和协议,包括Java、J2EE、Web Services、SOAP、HTTP、HTTPS等。阿里云应用...

概述

魔笔管理控制台是魔笔低代码开发平台的核心管理工具...模板市场列表,支持筛选不同维度的模板 模板市场详情,支持查看模板应用的使用截图使用说明,Ant Design Pro 我们将不断丰富和扩展各个维度的应用模板,更好地满足各种业务场景的需求。

基本概念

本文为您介绍DataWorks中,数据集成、数据建模、数据开发数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员,分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...

基于SQL的应用开发

语言 相关文档 Java 基于Java JDBC接口的应用开发 基于Java连接池Druid的应用开发 基于LindormDataSource的应用开发 基于Java ORM框架MyBatis的应用开发 Python 基于Python的应用开发 基于Python ORM框架的应用开发 Go 基于Go的应用开发 ...

数仓分层

各个分层的功能介绍如下:数据引入层 ODS(Operational Data Store)ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。ODS层对原始数据的操作具体...

什么是DataWorks

DataWorks是一站式智能大数据开发治理平台,适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...

概述

功能特点 灵活配置,集成操作提供了各种外部系统和服务交互的能力,无论是 RESTful API、百炼应用、百炼模型、数据库、第三方服务还是自定义的后端系统。简单易用,通过图形界面,用户可以轻松地创建和配置集成操作,而无需编写底层...

什么是云原生应用组装平台BizWorks

BizWorks提供的一站式云原生应用开发平台,支持微服务应用的全代码开发与轻应用的低代码开发两种模式,并提供了云原生应用架构与组件选型的最佳实践,通过整合各类阿里云产品,降低云产品的使用门槛,大幅提升应用开发与运维效率。...

用户价值

业务应用方 应用开发 业务分析 使用数据资产获得业务价值 更便捷的使用数据和算法资源:通过统一服务,应用开发人员可以快速开发数据智能应用,提高智能应用开发效率,发挥数据价值。自主挖掘数据的业务价值:通过画像分析、业务模型编辑器...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用