性能测试 PTS 铂金版来袭!阿里云发布T级数据压测的终极秘笈

简介: 有别于PTS企业版,PTS铂金版具有完全不同的出身,说起它,不得不从阿里巴巴每年的全球剁手党狂欢-双11说起。因为和其他APM服务商不同,阿里云的压测解决方案-性能测试服务 PTS 脱胎于阿里巴巴内部平台,而这个内部平台堪称双11保障的核武器。

无限接近真实流量的全链路压测,具备超高并发能力,多维动态支持压测场景下的多变环境,1分钟即可设置简单压测场景……这个神奇的压测“黑科技”就是PTS铂金版!

有别于PTS企业版,PTS铂金版具有完全不同的出身,说起它,不得不从阿里巴巴每年的全球剁手党狂欢-双11说起。因为和其他APM服务商不同,阿里云的压测解决方案-性能测试服务 PTS 脱胎于阿里巴巴内部平台,而这个内部平台堪称双11保障的核武器。在经过超高峰值、超高复杂度的千锤百炼后,PTS铂金版正式对外输出,让广大企业级用户能用最低的投入,享受阿里双11保障级的性能测试服务。

来看下我们需要面对的挑战,以2016年双11前30分钟为例,每秒交易峰值17.5W笔,每秒支付峰值12W笔,相关链路光核心系统上百个,还有庞大的底层基础设施(网络、IDC、硬件、虚拟化、调度、弹性能力等),以及所有的中间件服务、数据库、存储,我们保障双11的需求分层依次是确保没有瓶颈短板、合理规划容量配比降低成本、根据压测模型动态调配容量配比。但是线下压测(没有参考价值)、单机类型压测+估算模型(无法识别全局瓶颈)、单链路压测(无法识别真实业务场景下多链路冲击下的短板)都显然远远无法满足需求,为了让最真实的情况能够提前预演,我们最终采用了这套模拟全球几亿用户一起购物狂欢的方案-全链路压测平台。而它从2013年到2016年的4个年头里已经发展到3.0版本。

下图是这几年主要完成的工作。

其中一些关键点做下说明:

关于业务改造

涉及业务点100多个,交易链路几十条,相关研发同学几百号人,只要是写相关接口肯定需要改造,压测设计的原则是业务系统的代码尽可能的不做修改、通用的技术通过基础设施和中间件来处理,比如压测流量的标识怎么在整个请求生命周期中一直传递下去、怎么样来对非法的请求做拦截处理。

关于数据构造

数据构造有两个关键点:
1、由于参与双11的买家、卖家、商品数量都非常庞大,需要构造同数量级的庞大业务数据;
2、同时业务数据的模型要尽可能贴近双11当天0点的真实场景;
以上两个关键点必须同时做到,否则全链路压测结果的误差会比较大,参考的价值将会大打折扣。我们为此专门搭建了全链路压测的数据构造平台,构建业务模型,同时完成海量业务数据的自动化准备。

其实关于数据的模型应该是怎么样的问题。我们借助了BI工具结合预测算法对数据进行筛选建模,并结合每一年双11的业务玩法进行修订,产出一份最终的业务模型。业务模型的因子牵涉几百个业务指标,包含买家数、买家类型、卖家数、卖家类型、优惠种类、优惠比例、购物车商品数、bc比例、无线pc比例,业务的量级等等。

关于数据隔离

比如直接把测试数据和正常数据写到一起,通过特殊的标识能够区分开,出于对线上的数据的安全性和完整性不能被破坏的考量,这个方案很快就被放弃了。然后有人提出了另一个方案,在所有写数据的地方做mock,并不真的写进去,这个方案不会对线上产生污染,但也还是放弃了:mock对压测结果的准确性会产生干扰,而我们需要一个最贴近实际行为的压测结果。经过反复的讨论,最终找到了一个既不污染线上、又能保障压测结果准确性的方案:所有写数据的地方对压测流量进行识别,判断一旦是压测流量的写,就写到隔离的位置,包括存储、缓存、搜索引擎等等。

关于流量构造

双11当天0点的峰值流量是平时高峰的几百倍,每秒钟几百万次的请求如何构造同样成了压测的大难题。浏览器引擎或者一些开源压测工具来模拟用户请求的做法经过实际测试,要制作出双11规模的用户流量需要准备几十万台服务器的规模,成本是无法接受的,并且在集群控制、请求定制上存在不少限制。既然没有现成的工具可以使用,只好选择自己研发一套全链路压测的流量平台。

而随着集团业务需求越来越多,急需将全链路压测朝着平台化推进和实施,做到压测能力开放、业务方自主压测,让更多业务方能够享受到全链路压测的优势和便利。平台化上线之后大幅提升了全链路压测平台的服务能力,比如2015年大促备战的3个月内,压测平台总共受理近600多个压测需求(比14年提升20倍),执行压测任务3000多次(比14年提升30倍),最重要的,这也为阿里云即将推出的性能测试PTS铂金版做了很好的基础建设。

生态化

2016年在三地五单元混合云部署架构下,电商一半以上的资源都部署在云上。如何能够在最短的时间内完成一个单元的搭建和容量准备成为摆在我们面前的一道难题。“大促容量弹性交付产品”在年初的时候立项,旨在减少甚至释放活动场景的容量交付中人工投入,将大促容量交付的运维能力沉淀到系统中,使全链路容量具备“自动化”调整的能力。我们又提出了大促自动化备战的想法,将大促容量准备的各环节进行系统层面的打通,从业务因子埋点、监控体系、模型预测、压测数据构造、压测流量发送、压测结果分析、压测报表进行自动化的串联,大幅缩减了我们在大促容量准备阶段的人员投入和时间周期。围绕全链路压测的核心基础设施,全链路压测的周边生态逐步建立起来,打通建站、容量、监控等配套技术体系。

所以,PTS铂金版目前已经将异常强大的流量构造能力和简易友好的数据输入方式提供出来。阿里云希望帮助企业腾出更多时间和成本去关注业务,而不再需要投入大量资源去研究压测的引擎、改造并让它适应业务特性,也不需要搭建庞大的压测集群以支持业务的高并发度,甚至不需要专门的性能测试人员或者具备相当的测试专业知识的人员,以上这些会让企业投入大量的人力成本、机器成本,性价比较低。PTS铂金版提供了简洁、高效、优质和高性价比的方案,它的优势和特点是:

  1. 无限接近真实的流量:覆盖到三四线城市的节点能真正模拟高并发和发起点分散的用户行为,端到端之间的网络瓶颈也能暴露无遗;
  2. 超高并发能力:低成本构造千万TPS级的压测流量,多协议支持(HTTP、HTTPS、TCP、UDP 等);
  3. 压测能力多维度动态支持:同时支持并发和TPS两个维度设置,免除设置和换算的烦恼,压测目标设置一步到位。压测过程中还可以根据各种情况任意调整并发/TPS,灵活应对压测场景下的多变环境;
  4. 使用零门槛:完全面向开发的交互设计,开发自测试,贴心的提供快捷压测功能,1分钟即可设置一个简单压测场景,快速熟悉产品功能;
  5. 复杂场景轻松应对:即使是电商交易类复杂场景,依旧可以方便的通过脚本拼装,完全模拟用户真实行为;
  6. 丰富的展现形式:压测过程中重要指标实时展现,配合阿里云互联网中间件的业务实时监控ARMS、分布式应用服务EDAS,可提供更全面、细致的性能指标,快速识别性能瓶颈;

是不是想赶紧看看这个核武器——PTS铂金版长啥样?

没问题,免费试用的传送门已经打开。

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110143 118
阿里云DMS,身边的智能化数据分析助手
|
2月前
|
存储 弹性计算 运维
阿里云服务器ECS经济型e实例详细介绍_性能测试和租用价格
阿里云服务器ECS经济型e实例详细介绍_性能测试和租用价格,阿里云服务器ECS推出经济型e系列,经济型e实例是阿里云面向个人开发者、学生、小微企业,在中小型网站建设、开发测试、轻量级应用等场景推出的全新入门级云服务器,CPU采用Intel Xeon Platinum架构处理器,支持1:1、1:2、1:4多种处理器内存配比,e系列性价比优选
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
719 2
|
1月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175311 348
|
1月前
|
弹性计算 缓存 测试技术
阿里云2核4g服务器(费用价格/性能测试/支持人数)
阿里云2核4g服务器能支持多少人访问?2核4G服务器并发数性能测试,阿小云账号下的2核4G服务器支持20人同时在线访问,然而应用不同、类型不同、程序效率不同实际并发数也不同,2核4G服务器的在线访问人数取决于多个变量因素
|
1月前
|
弹性计算 缓存 测试技术
2核4g服务器能支持多少人访问?阿里云2核4G服务器并发数测试
2核4g服务器能支持多少人访问?阿里云2核4G服务器并发数测试,2核4G服务器并发数性能测试,阿小云账号下的2核4G服务器支持20人同时在线访问,然而应用不同、类型不同、程序效率不同实际并发数也不同,2核4G服务器的在线访问人数取决于多个变量因素
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
2月前
|
监控 Cloud Native 测试技术
PTS 3.0:开启智能化的压测瓶颈分析
PTS 3.0:开启智能化的压测瓶颈分析
205560 116
|
2月前
|
弹性计算 数据中心
阿里云香港服务器详细介绍_BGP多线精品测试_CN2高速网络
阿里云香港服务器中国香港数据中心网络线路类型BGP多线精品,中国电信CN2高速网络高质量、大规格BGP带宽,运营商精品公网直连中国内地,时延更低,优化海外回中国内地流量的公网线路,可以提高国际业务访问质量。阿里云百科来详细介绍阿里云香港云服务器

热门文章

最新文章