大数据概念技术与应用

_相关内容

数据总线

通过应用声明,应用在上架到应用市场之后,用户就能感知应用与数据之间的关系。目前通用的集成方案是以项目为隔离维度的。也就是说,在一个项目内的所有应用,他们关联的相同的数据模型,会被默认放在同一个隔离区域ScopeID内。4.应用开发-...

使用流程

ADAM(数据与应用迁移)使用主要分为数据库评估,数据改造迁移,应用评估改造三个流程。整体迁移流程简介 数据库评估:帮助用户了解源库现状、提供目标库的选型建议,根据评估结果为用户迁移到目标库提供可行性参考。数据改造迁移:帮助...

应用评估

应用评估用于衡量应用与数据库整体迁移改造的情况,可以展示应用需要改造的地方,并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题:难以估算应用改造的工作量。难以制定...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

添加成员并设置角色

超级管理员创建了服务项目后,如果需要添加成员协助开发,您可以将 管理中心-成员列表...后续步骤 完成服务项目成员添加并设置成员后,您就可以配置应用访问数据服务的网络,以实现应用与数据服务之间的网络互通。具体操作,请参见 网络配置。

什么是DataWorks

从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构 DataWorks十多年...

概览

租户实例:基于 OceanBase 独特的租户隔离技术,将一个大型集群按照租户进行虚拟隔离后独立呈现出来的一个计算资源,可以独立作为一个数据库实例进行应用,该租户实例下可以单独创建数据库,租户实例数据库下单独创建表,独立为上层 APP ...

什么是数据管理DMS

AnalyticDB MySQL版:云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL(Extract Transform Load),兼容上下游生态...

基本概念

地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入,满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入,支持基于球面、平面三维场景搭建地理信息多源数据的融合开发。...

什么是混合云容灾服务

故障恢复(Fail Back)当您的IDC内的环境恢复以后,将应用数据迁回自有IDC恢复应用运行的过程。RPO Recovery Point Objective(数据恢复点目标),指应用发生故障时预期的数据丢失量。例如,RPO=15 分钟,表示在应用发生故障时,最近 15 ...

数据标准

数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产,加速数据的融合统一的效率,节省大量数据应用和处理的成本。完成以下操作实现数据标准落标:您可以在 字段编辑器 页面,编辑 中文名,输入拼音首字母即可快速检索出...

功能概述

他们希望防止数据库服务及其运维人员接触到任何应用数据,同时保证数据库的正常运作。例如:业务将应用数据库迁移到云上,需要应对云平台以及运维人员越权访问数据的潜在威胁。数据应用需要将数据库整体线下部署到客户线下环境,需要防止...

X-Engine简介

这个技术属首次将硬件加速技术应用到在线事务处理数据库存储引擎中,相关论文《FPGA-Accelerated Compactions for LSM-based Key Value Store》已经被2020年的 FAST'20 国际会议接收。通过数据复用技术减少数据合并代价,同时减少缓存淘汰...

创建数仓分层

DataWorks的数仓分层功能,默认为您创建了 数据引入层ODS(Operational Data Store)、公共维度层DIM(Dimension)、明细数据层DWD(Data Warehouse Detail)、汇总数据层DWS(Data Warehouse Summary)及 应用数据层ADS(Application Data...

什么是数据库备份DBS

相关概念 了解以下概念,将帮助您更好地使用DBS:常用的数据备份方式为逻辑备份、物理备份快照:逻辑备份:数据库对象级备份,备份内容是表、索引、存储过程等数据库对象,常见工具为MySQL mysqldump、Oracle exp/imp等。物理备份:数据...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能 上传下载 DataWorks的上传下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您...

典型使用场景

HBase具有高吞吐,低延迟,schemaFree,水平扩展等能力,被很多大数据应用选择。而接合LindormStreams+Blink/Spark,可以构建出一套完整的实时数据系统:应用解耦-实时同步到消息队列 通常业务发生之后,应用系统产生的数据需要被其他...

核心概念

ADM(Application Data Model)应用数据模型层,简称应用层。用于面向具体业务应用场景的数据模型。维度 人们观察事物的角度,是指一种视角,是确定事物的多方位、多角度、多层次的条件和概念。从业务层,通常维度是指业务对象的属性,业务...

什么是PolarDB PostgreSQL企业版

PolarDB 是阿里巴巴自研的新一代 云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。PolarDB 100%兼容PostgreSQL 11,PostgreSQL 14,高度兼容Oracle。...

基本概念

健康检查 健康检查对容器与应用进行定时检查和汇报,然后将结果上报到控制台,从而帮助您了解集群环境下整个应用的运行状态,排查和定位问题。基础监控 EDAS从应用所运行的实例(ECS)上采集数据,对机器的CPU、内存、负载、网络和磁盘等...

SAE微服务相关概念和能力

概念和能力索引 一级分类 二级分类 注册中心 使用说明、应用配置 配置中心 使用说明、应用配置 微服务开发 IDE自动部署、端云互联 服务治理 服务列表、无损下线、无损上线、微服务灰度、限流降级 应用监控 应用监控 更多信息 微服务FAQ ...

DLA Lakehouse实时入湖

DLA Lakehouse实时入湖方案利用数据技术,重构数仓语义;分析数据数据,实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL从入湖到分析的操作步骤。背景信息 数据湖分析(Data Lake Analytics)是⽬前炙⼿可热的⽅向,主要是...

什么是PolarDB PostgreSQL版(兼容Oracle)

PolarDB 是阿里巴巴自研的新一代 云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。高度兼容Oracle。PolarDB PostgreSQL版(兼容Oracle)采用存储和计算...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集存储、数据分析处理、数据提取和数据展现分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

新手指引

功能索引 一级分类 二级分类 部署 启动命令和参数、数据库白名单、CI/CD、升级和回滚、权限配置、其他 网络 阿里云网络基础概念、SAE网络访问主要场景方式、SAE网络访问对比项、微服务增强 多语言 PHP运行时支持、静态文件托管、远程调试...

技术面临的挑战革新

在Proxy的协同下,甚至可以做到节点切换对应用无感知 传统分布式架构存储计算分离架构对比 分布式数据库其实已经有了不短的历史,早期的分布式数据库,在整体架构上可以分为share nothing和share disk两类。share disk通过扩展底层的...

快速入门综述

分析型数据库MySQL版(AnalyticDB MySQL版)是一种高并发低延时的PB级实时数据仓库,全面兼容MySQL协议以及SQL 2003语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...

应用托管概述

Serverless 应用引擎 SAE(Serverless App Engine)向上抽象了应用概念,支持以代码包和镜像方式部署应用并进行托管。在 SAE 上,您可以低门槛拥抱容器技术,无需管理和维护集群服务器,专注于设计和构建应用程序,最大化利用资源完成...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用

时序引擎应用开发简介

使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口,对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序,您可以按照以下步骤进行应用迁移:应用适配 修改应用程序中的连接字符串,连接的目标从原有的...

数据集成概述

背景信息 面对各行各业对数据的应用数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

概述

数据同步,比如更新cache,同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更,您可以基于LindormStreams的这个功能构建自己的数据应用。说明 该功能只支持云数据库HBase增强版、云原生多模数据库Lindorm。

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

数据分析整体趋势

大数据与数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据技术;另一方面,分布式数据库也快速发展...

视频专区

DataV数据可视化 7.0 如何使用模板快速创建第一个大屏 如何配置可视化组件样式和数据 如何发布并分享数据大屏 如何创建演示预案进行投屏演示 DataV数据可视化 6.0 基本概念应用场景说明 工作空间管理和用户中心说明 我的可视化界面说明 ...

E-MapReduce弹性低成本离线大数据分析

大数据是一项涉及不同业务和技术领域的技术和工具的集合,海量离线数据分析可以应用于多种商业系统环境,例如,电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三分布式计算框架...

常见问题

如何理解开源与云原生的大数据技术与产品?MaxCompute作为大数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的...

简介

DMS数据分析与应用介绍 DMS通过Data Fabric+模型构建数据管理底座,赋能数据分析与应用。该场景下核心的四个功能如下:安全托管:DMS在阿里集团数据库权限访问控制最佳实践,为企业提供一系列数据库权限管控的集合,可帮助企业实现多云...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用