大数据和分布式

_相关内容

什么是蚂蚁链分布式身份服务 DIS

分布式数字身份及生态参与方 基于区块链的DIS服务,是一种高效、合规、安全、可信的数字身份管理方案:区块链技术在分布式和安全性方面的能力,便于实现跨机构和组织的协同工作,使得身份标识等数据能在多个节点之间共享复制,抵御故障和...

产品概述

PolarDB分布式版 MySQL Share Nothing,分布式 公共云、专有云企业版、DBStack MySQL生态下的规模数据、超高并发应用 PolarDB MySQL版PolarDB PostgreSQL版 产品架构 PolarDB MySQL版 PolarDB PostgreSQL版均为计算存储分离、共享...

四川农信

PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:建立一个面向分布式架构的开发平台运行平台,结合分布式数据库、...

概述

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题,提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年来专注于为海量数据访问提供低消耗、高性能、高...

RDS 同步到云搜

根据需要选择同步场景:RDS 数据源同步到分布式搜索服务:即 RDS>云搜的实时同步,亚秒级实时同步,满足业务数据实时搜索诉求。OceanBase 数据源同步到大数据计算服务:即 OceanBase>MaxCompute(原 ODPS)的实时同步,实时捕捉同步数据...

PolarDB-X历史

DRDS还针对分布式数据库使用场景提供一系列的企业级特性,包括全局Sequence服务、读写分离、数据库账号体系DRDS后台运维指令集。凭借优异性能相对优良的体验,DRDS迅速在公有云积累了一批忠实用户。DRDS的商业化成功,标志着阿里巴巴...

概述

数据访问代理兼容 MySQL 协议语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。更多数据访问代理的详情,请参见 什么是数据访问代理。分布式事务 SOFAStack 分布...

分布式事务问题

数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求:数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...

离线同步并发限流之间的关系

限制最佳实践:分布式执行模式下,配置较任务并发度可能会对您的数据存储产生较的访问压力,请评估数据存储的访问负载。如果您的独享资源组机器台数为1,不建议使用分布式执行模式,因为执行进程仍然分布在一台Worker节点上,无法...

功能特性

数据访问代理兼容 MySQL 协议语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

新建 PolarDB-X 1.0 数据

背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式数据库,融合分布式 SQL 引擎和分布式自研存储 X-DB,基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模,以及百 PB 级海量存储。详情请参见 产品概述。...

使用ossimport迁移数据

ossimport有单机模式和分布式模式两种部署方式:对于小于30TB的小规模数据迁移,单机模式即可完成。对于规模的数据迁移,请使用分布式模式。此需求需要使用ossimport分布式配置进行数据迁移。说明 您也可以使用在线迁移服务进行数据的...

网商银行

基于金融云计算平台,网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力,可以利用互联网和大数据的优势,给更多小微企业提供金融服务。业务挑战 网商银行将普惠金融作为自身的使命,目标是利用互联网的技术、数据和渠道创新,...

天弘基金

业务挑战 在规模分布式应用中,曾经的单体应用按横向纵向的维度被拆分到集群的各个节点之中,为了解决服务及数据调用的问题,引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBaseApache Hadoop生态系统无缝集成,并且可以Apache Phoenix搭配使用...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、Spring Schedule,K8s Job,支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批,具有高可用、可观测、可运维低延时等能力。...

产品架构

基于全新打造的分布式块存储(Distributed Storage)文件系统(Distributed Filesystem),存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...

产品架构

基于全新打造的分布式块存储(Distributed Storage)文件系统(Distributed Filesystem),存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...

Doris概述

并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠,这种高度集成的架构设计极的降低了一款分布式系统的运维成本。从以下五个方面介绍Doris技术:在使用接口方面,Doris采用MySQL协议,高度兼容MySQL语法,支持标准SQL,您...

概述

负责数据分布式路由、计算及动态调度,负责分布式事务2PC协调、全局二级索引维护等,同时提供SQL限流、三权分立等企业级特性。存储节点(Data Node,DN)负责数据的持久化(面向行存数据),基于多数派Paxos协议提供数据高可靠、强一致保障...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器人工运维成本且接入简单。基础版成本是开源自建的三分之一;专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等,无需额外费用...

源为PolarDB-X的任务配置方案

方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务,性能成倍增长,可承载规模的 PolarDB分布式数据写入,仅配置一个以 PolarDB分布式版 为源的DTS任务,当业务系统写入源实例数据量较时,会存在性能瓶颈。稳定性 稳定性较强。...

源为PolarDB-X的任务配置方案

方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务,性能成倍增长,可承载规模的 PolarDB分布式数据写入,仅配置一个以 PolarDB分布式版 为源的DTS任务,当业务系统写入源实例数据量较时,会存在性能瓶颈。稳定性 稳定性较强。...

产品概述

产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式数据库,融合分布式SQL引擎与分布式自研存储X-DB,基于云原生一体化架构设计,可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、表瓶颈以及...

概述

Apache Druid是一个分布式内存实时分析系统,用于解决如何在规模数据集下快速的、交互式的查询分析问题。基本特点 Apache Druid具有如下特点:支持亚秒级的交互式查询。例如,多维过滤、Ad-hoc的属性分组快速聚合数据。支持实时的...

创建表

分布式表适用于在ClickHouse集群环境中实现数据分布查询处理。语法:CREATE TABLE[db.]d_table_name ON CLUSTER cluster AS db.local_table_name ENGINE=Distributed(cluster,db,local_table_name[,sharding_key])参数说明:参数 说明 db...

HDFS概述

HDFS适用于规模数据分布式读写,特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下:具有高容错性高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面,方便管理。拥有类似于Linux的文件权限管理。Locality感知,...

实现原理

CeresDB 是蚂蚁自研的时序数据库,时序引擎是一种存储管理时间序列数据分布式数据库,为时间序列提供高性能读写、预处理计算、可视化查询等功能。产品层 产品层(应用名为 monitorprod)承载了 RMS 的所有页面以及用户交互、配置逻辑,...

外部表概述

背景信息 MaxCompute SQL作为分布式数据处理的主要入口,可实现EB级别离线数据的快速处理存储。随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...

适用场景

按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展,适用于如下场景:对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...

通过DTS导入数据

通过数据传输服务DTS(Data Transmission Service),您可以将 PolarDB分布式版(原DRDS)的数据导入至 AnalyticDB MySQL 湖仓版(3.0)或 数仓版(3.0),轻松实现数据的传输,用于实时数据分析。操作方法 您可以选择数据同步或数据迁移...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录运行日志,还可以通过工作流进行任务...

南京银行

解决方案 2017 年,南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase,以及大数据平台能力,构建新的互联网金融核心,并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...

产品优势

高可用高可靠保障,数据安全可靠 共享分布式存储的设计,彻底解决了主从(Master-Slave)异步复制所带来的备库数据非强一致的缺陷,使得整个数据库集群在应对任何单点故障时,可以保证数据零丢失。多可用区架构,在多个可用区内都有数据...

基于TairString实现高性能分布式

本文先介绍并分析常见的分布式锁实现方式,之后结合阿里巴巴集团在使用 云原生内存数据库Tair 和分布式锁方面的业务经验,介绍使用 Tair 实现高性能分布式锁的实践方案。分布式锁及其应用场景 应用开发时,如果需要在同进程内的不同线程...

JindoFS实战演示

视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用...

应用场景

分布式事务可应用在多个涉及数据库操作的领域,尤其在金融领域可以做到全场景的覆盖与落地验证,包括:支付与转账、账务:对于吞吐量有很高的要求 金融与理财:往往涉及的金额较,所以对于产品的稳定性要求非常高 保险与监管报送:参与方...

产品优势

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承引领拥抱业界先进标准实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...

基本概念

M MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB、PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将Lindorm数据导入...

全局二级索引

PolarDB-X 使用分布式事务维护主表索引表之间数据强一致。全局二级索引还支持以下特性:支持选择覆盖列,减少回表操作开销。在线表结构变更,添加GSI不锁主表。支持通过HINT指定索引,自动判断是否需要回表。示例1:增加拆分维度。例如,...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用