大数据软件架构

_相关内容

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

物联网数据处理分析架构参考

本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务,搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入,企业开始挖掘设备上传的数据,用于客户端应用扩展和服务营收,用于数字化运营、风控,帮助企业高效治理,...

金融大数据

业务架构 架构说明:大数据仓库调用外部数据数据集市的信息,通过数据获取层、数据模型层、数据加工层、数据应用层和分析集市的层层筛选、分析、加工,由大数据服务接口向内部源数据输出适用于多种用户场景的有效数据大数据仓库功能...

客户案例

互联网行业:快狗打车云上大数据仓库 客户架构如下。客户简介 快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案,将闲散运力统一整合到平台上,通过大数据将运力精准匹配市场...

简介

HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,...

管理数据架构待发布对象

导入的发布包文件中存在数据架构变更对象时,将在待发布数据架构页面为您展示,您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口,...

管理数据架构待发布对象

导入的发布包文件中存在数据架构变更对象时,将在待发布数据架构页面为您展示,您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口,...

未来规划

云计算架构的核心逻辑就是通过虚拟化技术带来池化资源,云原生数据库采用分布式数据架构,实现规模扩展,每套数据系统横跨多台服务器和虚拟机,带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用,实现按需按量...

应用场景

表格存储 有互联网应用架构(包括数据库分层架构和分布式结构化数据存储架构)、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...

发布包总览概述

超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人)项目 跨租户发布使用人 且(为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人)数据源 跨租户发布使用人...

发布包总览概述

超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人)项目 跨租户发布使用人 且(为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人)数据源 跨租户发布使用人...

专有云通用架构

集群规模大于50台物理机时可采用Apsara Stack Enterprise专有云,集群规模大于50台物理机,适合银行、证券等大型金融机构自建专有云,建议使用下图所示的架构,部署包括:虚拟化VM、数据库、存储、中间件、大数据等金融云产品。Apsara ...

快速玩转Tablestore入门与实战

TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘:海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...

设计方案

软件系统架构演进中不变的是系统的基本属性,包含存储、计算和网络,变的是存储、计算和网络的实现方式和规模,往规模、高性能、高可靠、易扩展等方向迭代演进,所以对架构稳定性提出了更高的要求。系统可预见的稳定性风险包含软硬件...

创建数据板块

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,当前租户还需开通智能研发模块。在开始执行操作前...

创建数据板块

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,请升级当前版本。升级版本,请参见 升级。在开始...

产品架构

本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...

关键大盘

关键大盘提供自定义要查看的监控数据的功能。通过查看关键大盘,您可以快速了解应用的运行状况以及资源实例的使用情况。实时监控中的关键大盘分为 业务大盘 和 应用大盘。业务大盘展示业务相关大盘数据;应用大盘展示应用相关监控指标的...

原理架构

本文简单介绍数据同步服务的整个系统架构及基本实现原理。系统架构 数据同步服务的逻辑架构图:全量同步:负责将表数据从源端数据库同步到目的端数据库,支持异构数据库间同步。增量同步:负责将源端的增量数据同步到目的端,主要包含 ...

产品优势

非侵入,对生产系统影响小 数据同步服务不建触发器,不在源表查询,而是实时读取数据库 binlog 日志,实现数据的实时复制,对源端库无压力。高性能 数据同步服务使用高规格服务器来保证同步链路的良好传输性能。相对于传统的数据同步工具,...

集群架构

云原生内存数据库Tair 提供双副本集群架构实例,可轻松突破Redis自身单线程瓶颈,满足容量、高性能的业务需求。集群架构支持代理和直连两种连接模式,您可以根据本章节的说明,选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...

应用场景

数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库(例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库)的通用管理方案,实现多云统一的数据库管理服务,架构图如下所示。...

应用场景

数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库(例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库)的通用管理方案,实现多云统一的数据库管理服务,架构图如下所示。...

管理标签架构待发布对象

导入的发布包文件中存在标签架构的变更对象时,将在待发布标签架构页面为您展示,您可在待发布标签架构页面对标签架构对象进行管理和发布。待发布标签架构对象入口 请参见 发布包总览入口,进入发布包 总览 管理页面。单击 标签架构 页签,...

管理标签架构待发布对象

导入的发布包文件中存在标签架构的变更对象时,将在待发布标签架构页面为您展示,您可在待发布标签架构页面对标签架构对象进行管理和发布。待发布标签架构对象入口 请参见 发布包总览入口,进入发布包 总览 管理页面。单击 标签架构 页签,...

应用场景

数据同步服务可在增量数据同步开始之前,回拉历史全量数据,并写入数仓(如大数据计算服务 MaxCompute)。在增量实时同步过程中,记录数据位点信息用于将后续的数仓数据标记完成,下游可依据标记完成时间触发后续的数据分析任务。场景三:...

基础术语

OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品,融合传统关系数据库和分布式系统的优势,具备高可用、高性能、高可扩展性,在功能上兼容 MySQL 等特点,在通用硬件上提供金融级高可用的数据库服务。...

升级数据库版本

支持升级的数据版本 云数据库 MongoDB 版 控制台可以直接升级数据版本,但不同产品架构、不同版本的实例支持升级的版本不同,具体情况如下:产品架构 规格类型 实例的数据版本 可升级到的数据版本 单节点架构 通用型云盘版...

弹性伸缩

在Job类任务、CI/CD、Spark大数据计算、在线应用弹性等场景中可以显著提升应用部署的弹性效率,也可以降低应用的计算成本。传统的HPA(Horizontal Pod Autoscaler)策略在业务量上涨之后开始扩容,会存在滞后的资源供给不能及时补充业务的...

产品架构

如下图所示,与传统方案相比,Lindorm系统地简化数据存储技术架构设计,幅度提升系统稳定性,降低建设成本投入。总体架构 Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构,以适应云计算时代资源解耦和弹性伸缩的诉求。...

MongoDB数据库版本升级说明

数据库MongoDB版(单节点架构)全量迁移至云数据库MongoDB版(所有架构)云数据库MongoDB版(副本集架构)迁移至云数据库MongoDB版(副本集架构或分片集群架构)自建数据库MongoDB版(分片集群架构)迁移至云数据库MongoDB版(副本集架构...

产品概述

PolarDB分布式版产品架构 PolarDB分布式版 采用了基于计算存储分离的Share Nothing系统架构,该架构使用户可以根据业务需要进行分层容量规划,实现规模扩展。核心组件 元数据服务(Global Meta Service,GMS),主要提供分布式的元数据,...

最佳实践

数据库容灾最佳实践 数据库备份 阿里云数据库具备数据库的备份恢复能力,除了小部分海量数据产品需要手工开启备份恢复功能外(如ClickHouse、Lindorm),其余常见数据库产品已默认开启数据库的自动备份,在数据库进行备份后,可利用现有...

Tair Proxy特性说明

A:推荐选择 集群架构数据分片均采用主备高可用架构,当主节点发生故障后,系统会自动进行主备切换保证服务高可用。在某些极端场景下某个数据分片出现异常后,对数据的影响及优化方案如下。场景 影响与优化方案 图 2.多Key命令场景 影响...

Redis Proxy特性说明

当标准架构无法支撑业务发展时,您无需修改代码即可将标准架构的数据迁移至带有Proxy的集群架构幅度降低业务改造成本。负载均衡和路由转发 Proxy与后端的数据分片建立长连接,负责请求负载均衡和路由转发操作,关于转发规则的介绍,请...

全场景解决方案

专注为金融用户提供全栈式的基础架构能力,保证风险安全的同时,帮助业务需求敏捷迭代,同时满足异地容灾、低成本快速扩容的需求,解决传统集中式架构转型的困难,打造规模高可用分布式系统架构,支撑金融业务创新。方案优势 资损防控、...

产品架构

PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位,可与数据集成、数据传输,缓存、大数据生态配合使用。产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成,通过挂载多个MySQL进行分库分表水平拆分。如同...

基础架构安全实施最佳实践

网络架构设计最佳实践 阿里云基于大量的网络架构设计,结合不同行业业务特点和网络需求,提供网络架构设计的最佳实践。如企业级云上网络分区分域设计、云上同城/异地容灾网络设计、DMZ-VPC区域设计、VPC东西向流量隔离和管控设计、云上云下...

集群版-双副本

数据分片(data shards)每个数据分片均为双副本(分别部署在不同机器上)高可用架构,主节点发生故障后,系统会自动进行主备切换保证服务高可用。配置服务器(config server)采用双副本高可用架构,用于存储集群配置信息及分区策略。各...

挑战和注意事项

稳定性:高可用和容灾方面的考量会引入架构和资源的冗余,并在诸如备份等动作的执行上拉低资源在工作负载上的性能投入,但该部分的投入是不可或缺的,需要结合各业务系统及其数据的重要性进行不同程度高可用和容灾架构的适配。安全性:性能...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用