DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
分布式链路跟踪 EDAS鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问，从而精准发现系统的瓶颈和隐患。分布式任务管理 SchedulerX 是阿里巴巴中间件团队开发的一款分布式任务调度产品。用户在应用中依赖SchedulerX-...
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
随着分布式微服务的发展，系统正在变得越来越复杂，一个普通的应用也可能依赖了很多其他的服务。在没有明确强弱依赖关系的前提下，系统很难进行限流降级、优化改造等操作。强弱依赖治理就是通过科学的手段持续稳定地得到应用间依赖关系、...
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
数据库表拆分后的多维度查询诉求是分布式数据库中间件的一个痛点，不按拆分键查询的SQL不能下推会导致在查询时出现全表扫描，PolarDB-X 支持全局索引，通过全局索引可以完美解决多维查询的痛点。客户价值 客户当前圈子打卡日记业务有10亿...
中文 英文 释义 Dubbo Dubbo Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案，是阿里巴巴 SOA 服务化治理方案的核心框架，每天为 2,000+个服务提供 3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴...
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
在蚂蚁集团内部架构变迁和对外金融科技开放的过程中，我们一直在持续探索，并在不断巩固总结出一条金融级云原生的架构落地路径，顺应广大金融机构分布式改造和IT架构稳妥创新升级的需求。希望通过本文作为一个开端，将蚂蚁集团的云原生实践...
登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击 创建任务。在 基本配置 配置向导页，配置调度任务的相关信息，然后单击 下一步。基本配置参数说明如下：配置名称...
技术架构 集群中所有读写节点的数据文件都存放在共享存储（PolarStore）中，全局只读节点通过分布式文件系统（PolarFileSystem）来共享底层存储（PolarStore）中已有的读写节点的数据文件。您可以通过全局只读地址连接全局只读节点，通过...
OceanBase 兼容 MySQL5.6 版本大部分功能，完全覆盖报表业务的需求，报表业务可以像使用 MySQL 那样去使用 OceanBase，不需要业务做过多的逻辑改造，同时作为分布式关系数据库，还能够提供复杂的跨多结点的分布式 JOIN 能力，以及并行的...
SOA 和分布式事务 提供跨库、跨服务的分布式事务支持，实现业务链路级别的分布式事务。开发简单，只需要在客户端声明一个注解，用以界定事务边界。业务链路：为服务链调用提供一致性保证。多框架兼容：目前兼容 Spring Cloud、Dubbo 和 HSF...
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。1.2.7，2021-4-28 新特性 新增开关，可以关闭的...
MapReduce模型是SchedulerX自主研发的轻量级分布式跑批模型。通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入...
MapReduce模型是SchedulerX自主研发的轻量级分布式跑批模型。通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库迁移至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 迁移方案概览。说明 PolarDB分布式版 需兼容...
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同...保证数据处理速度，排查数据生产消费是否同步，保证有足够的数据等待导入 AnalyticDB MySQL。保证客户端机器负载，检查CPU使用率或磁盘IO使用率等系统资源是否充足。
写入时容易发生倾斜影响写入性能，且多数查询通常是限定了日期或者时间段，如：查询最近一天或者一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式数据库中所有节点的处理能力。日期、时间类型的字段建议作为二...
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同...保证数据处理速度，排查数据生产消费是否同步，保证有足够的数据等待导入 AnalyticDB MySQL。保证客户端机器负载，检查CPU使用率或磁盘IO使用率等系统资源是否充足。
本文介绍通过Logtail采集ping和tcping数据到日志服务Metricstore的操作步骤。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有Linux Logtail 1.0.31及以上版本的Logtail支持采集ping...
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB分布式版。支持的源数据库 MySQL同步至 PolarDB分布式版 实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据...
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库同步至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 同步方案概览。说明 PolarDB分布式版 需兼容...
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模，以及百 PB 级海量存储。详情请参见 产品概述。PolarDB-...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB分布式版 1.0迁移至 PolarDB分布式版 2.0实例。前提条件 已创建源 PolarDB分布式版 1.0和目标实例 PolarDB分布式版 2.0，且兼容MySQL 5.7版本。更多信息，请参见...
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
数据库访问代理 解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。微服务平台 提供实现经典 SDK 模式和 ServiceMesh 两种微服务模式所需的各种组件，致力于帮助企业快速构建...
实例存储介质 随着互联网的高速发展，业务场景变得越来越丰富和复杂，云原生内存数据库Tair 作为一个高可用、高性能的分布式NoSQL数据库，从访问延时、持久化需求、整体成本这三个核心维度考量，基于DRAM、NVM和ESSD云盘存储介质，推出了...
消除分布式（Motion）算子提升性能 在进行连接或聚集操作时，AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子，对数据进行重分布（Redistribute Motion）或广播（Broadcast Motion）。分布式算子会占用大量的网络资源。如果能够...
分布式事务的下游生态 读写分离的一致性 事务型的分布式数据库一般会采用读写分离的模式提升读的性能，因此分布式事务除了保障主库的一致性以外，还需要保证用户在使用读写分离模式下对于备库的一致性。PolarDB-X 产品支持主实例和只读实例...
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的高性能云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。...
系列 说明 基础系列 数据备份存储在OSS或分布式云盘上，通过多副本冗余确保数据可靠性。（所有RDS实例均是如此。只包含一个节点，没有备节点作为热备份，因此当发生故障时，恢复时间较长。适用于对可用性要求不高的场景。高可用系列 采用一...
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
该方法在诸多Research及Industry领域的工作中都被借鉴并使用，并日益成为分布式数据领域一体化HTAP的事实标准方案。但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储...
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...