大数据和分布式

_相关内容

产品优势

高可用高可靠保障,数据安全可靠 共享分布式存储的设计,彻底解决了主从(Master-Slave)异步复制所带来的备库数据非强一致的缺陷,使得整个数据库集群在应对任何单点故障时,可以保证数据零丢失。多可用区架构,在多个可用区内都有数据...

应用场景

OceanBase 数据库的 SQL 引擎在经过了近 10 年的发展之后,已经拥有了很好的 SQL 执行能力和分布式计算能力,可以支撑这种复杂的 HTAP 应用。由于 OceanBase 数据库的原生分布式数据库特点,可以完美地解决传统数据库的单点性能瓶颈问题,...

什么是云数据库HBase

代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV KeyValue HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL(参见Lindorm产品)存储量分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...

JindoFS介绍使用

在纯客户端模式(SDK)基础上,Cache模式支持可选的元数据缓存和数据分布式缓存,同时保持数据跟OSS兼容同步。数据缓存可以基于内存、SSD普通磁盘,以适用不同的计算场景。JindoFS块存储模式(Block)JindoFS存储模式(Block),不仅...

什么是 SOFAStack

包含构建金融级云原生架构所需的各个组件,让用户更加专注于业务开发,满足用户场景的现状未来需求,经历过规模场景的锤炼,特别是严苛的金融场景,保证在分布式架构下承受高并发交易,在系统扩展、容灾恢复、更新发布时确保数据无损,...

OceanBase 4.x 简介

更多规格选择 OceanBase 数据库 4.x 版本提供更多规格选择,最小支持 4C16G 小规格单机部署,支持客户业务从小到的全生命周期,在云上可以满足小微客户的诉求,降低分布式数据库的使用门槛。4.x 版本兼容 MySQL 8.0,支持更多的 SQL MODE...

查询性能优化指导

消除分布式(Motion)算子提升性能 在进行连接或聚集操作时,AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子,对数据进行重分布(Redistribute Motion)或广播(Broadcast Motion)。分布式算子会占用大量的网络资源。如果能够...

计费项

重要 若源数据库为分布式实例(PolarDB分布式版、DMS LogicDB、MongoDB),则DTS同步和数据校验功能的价格还与分布式数据库节点数量有关。实例 计费项 计费规则 数据迁移实例 链路配置费用 数据迁移实例仅支持按量付费,计费规则如下:仅在...

组件中心

分布式事务 蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的资金操作。研发效能 持续交付 基于 Gitflow ...

云原生分布式数据库PolarDB-X 1.02.0区别

概述 本文主要介绍云原生分布式数据库PolarDB-X 1.02.0的区别。详细信息 PolarDB-X提供1.0中间件形态,以及2.0一体化形态,具体区别如下:PolarDB-X 1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成,通过挂载多个MySQL...

典型场景

大数据分析平台 对于MaxCompute、HadoopSpark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理在线数据探索。数据湖...

创建集群

是EMR平台上提供的实时计算一站式解决方案,拥有分布式、高吞吐量高可扩展性的消息系统Kafka基于Apache Flink官方产品Ververica提供的Flink商业内核两组件,专注于解决实时计算端到端的各类问题,广泛应用于实时数据ETL日志采集...

自媒体:易撰

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,...通过 PolarDB-X 的高并发写能力和PolarDB的高性能读能力,最终完美解决了我们资讯数据入库和大范围查询的业务痛点。—— 长沙营智技术总监刘涛

发展历程

MaxCompute以单集群三万以上节点通过中国信通院分布式批处理平台(规模)测试评审认证。MaxCompute通过全国首批大数据平台稳定性认证,被证明为韧性型系统。深度参与推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台,...

技术架构

架构演进理念 当前,分布式领域有3技术方向:Sharding技术,NewSQL原生分布式技术,云原生DB技术。每种分布式都有其独特的优势特点。PolarDB-X 1.0 的架构继承了DRDSX-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于...

概述

Mars能利用并行和分布式技术,为Python数据科学栈加速,包括 Numpy、Pandas Scikit-learn。Mars常用接口如下:Mars Tensor 接口 Numpy保持一致,且支持规模高维数组。示例代码如下。import mars.tensor as mt a=mt.random.rand...

技术架构

另外在业界主流的分布式数据库里,分布式下的redolog/binlog等数据库变更日志其实一直被厂商所忽视,从关系数据库的发展历史来看,生态标准对于市场规模化非常重要,PolarDB-X 支持binlog日志服务,兼容拥抱MySQL数据库生态,用户可以...

开启CNFS NAS计算端分布式缓存

CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力,并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存,并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...

开启CNFS NAS计算端分布式缓存

CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力,并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存,并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...

概述

背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了更高抽象层的API以便您编写分布式任务。Flink(VVR)完全兼容开源Flink,相关内容请...

附录:SOFAStack 产品目录

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承着引领拥抱业界先进标准实践的理念,同时亦能满足传统金融架构的平滑迁移融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、...

PolarDB PostgreSQL版架构介绍

分布式执行加速索引创建 分布式并行执行加速多模:时空数据库 传统数据库的问题 随着用户业务数据量越来越,业务越来越复杂,传统数据库系统面临巨大挑战,例如:存储空间无法超过单机上限。通过只读实例进行读扩展,每个只读实例独享一...

开源产品对比

有开源产品同样可以实现分布式任务调度,本文介绍SchedulerX开源产品的对比,帮助您更好的了解分布式任务调度SchedulerX。产品名称 定时调度 工作流 分布式任务 白屏化任务治理 任务类型 报警监控 使用成本 Quartz Cron 不支持 不支持 ...

PolarDB PostgreSQL版架构介绍

加速比 TPC-H性能:传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模:时空数据库 传统数据库的问题 随着用户业务数据量越来越,业务越来越复杂,传统数据库系统面临巨大挑战,例如:存储空间无法超过单机上限。...

简介

概述 阿里云自研Ganos时空引擎(以下简称Ganos)提供一系列的数据类型、函数存储过程,用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...

计算设置概述

设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构,核心为HDFSMapReduce,提供了海量数据存储与计算。全球应用较广的分布式系统基础架构,核心为HDFSMapReduce,提供了海量数据存储...

简介

概述 阿里云自研Ganos时空引擎(以下简称Ganos)提供一系列的数据类型、函数存储过程,用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...

多语言版本分片模型

动态分片:主要场景是分布式处理未知数据量的数据,例如一张表在不停变更,需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型,目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...

云原生分布式数据库 PolarDB-X系统权限策略参考

本文描述云原生分布式数据库 PolarDB-X支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...

整体架构

技术架构 AnalyticDB MySQL版 采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版(3.0)主要用来处理高性能在线分析场景的数据。随着数据...

常见问题

如果您使用的是数据访问代理中的分布式事务,因为数据访问代理和分布式事务已经深度集成,部署时是不需要任何依赖的,仅需一行事务开启 SQL 语句就能开启事务。如果您是基于 SDK 方式使用分布式事务,就需要在引入的分布式事务 SDK 的 pom....

功能架构

分布式链路 分布式链路帮助运维人员、开发人员架构师看清楚复杂的规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志,从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...

产品体系

分布式中间件 蚂蚁分布式中间件(SOFA)的产品发展路径,一直秉承着引领拥抱业界先进标准实践的理念,同时亦能满足传统金融架构的平滑迁移融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务...

概述

数据备份是保存在分布式存储集群上的快照,备份恢复速度最快,但成本高。长时间保存会对数据库的写性能略有影响,因此建议保存不超过2周。赠送一定额度的免费备份空间,超出部分可能收取额外费用,您可以修改备份周期来控制备份容量。...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...

移除分布式实例

分布式实例不支持直接释放,若您需要释放闲置的 云原生内存数据库Tair 分布式实例资源,您可以移除或释放分布式实例下各子实例,以节省资源。注意事项 在移除或释放实例的过程中,分布式实例中未被操作的实例可正常访问,不会发生闪断。...

移除分布式实例

分布式实例不支持直接释放,若您需要释放闲置的 云原生内存数据库Tair 分布式实例资源,您可以移除或释放分布式实例下各子实例,以节省资源。注意事项 在移除或释放实例的过程中,分布式实例中未被操作的实例可正常访问,不会发生闪断。...

概述

分布式链路跟踪系统(Distributed System Tracing,简称 DST)是面向分布式架构、微服务(Spring Cloud、SOFAStack、Service Mesh 等)架构等云原生架构的一种具有应用可观察性(Observability)的金融级解决方案。通过 DST,运维人员、...

多语言版本分片模型

动态分片:主要场景是分布式处理未知数据量的数据,例如一张表在不停变更,需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型,暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...

什么是 SOFATracer

SOFATracer 是蚂蚁金服基于 OpenTracing 规范开发的分布式链路跟踪系统,其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来,...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用