RDS最佳实践(一)–如何选择RDS

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

在去年双11之前,为了帮助商家准备天猫双11的大促,让用户更好的使用RDS,把RDS的性能发挥到最佳,保障双11当天面对爆发性增加的压力,不会由于RDS的瓶颈导致系统出现问题,编写了RDS的最佳实践。该文档的内容全部出自于生产实践,但由于篇幅的限制,我只是把其中的概要罗列到了ppt中,并没有展开详细的介绍,后续计划写一个系列,把ppt中的内容进一步展开来讲一讲,也算是对RDS用户的一个交代。

 

我该如何选择RDS?我要购买多大规格的RDS?RDS的连接数,iops指的是什么?上诉这些问题相信是每一个RDS用户在开始使用的时候都会有这样的疑问。首先我们要了解一下RDS的组成包括哪一些,从阿里云官网的购买页面中我们可以看到RDS包括了以下参数:数据库类型,版本,存储空间,规格:内存+连接数+io,地域,那我们就一个个来分析一下:

 

一.数据库的类型

RDS目前支持的数据库类型有两种:mysql,sqlserver,为什么这里要特别提出来讲一讲?原因有以下两个方面:
a.由于受到sqlserver和windows license的影响,sqlserver价格会比mysql高出近50%,一个2G Mem+50GB Disk的Mysql一年的价格是:4480 RMB;一个2G Mem+50GB Disk的Sqlserver一年的价格是:6420 RMB;
b.sqlserver处于闭源状态,在出现异常疑难问题排查的时候,往往需要借助微软官方的帮助,同时RDS如果想在sqlserver上面定制出一些自己特色的功能时候,往往其封闭的协议让RDS望而退步;相对于mysql的开源而言,RDS依托了阿里强大的mysql内核开发和运维经验,能够很好的定制出一些RDS自己的特色功能,在出现疑难问题上能够迅速的进行debug排查。
在阿里的电商云平台聚石塔,已经有大量的isv,商家正在改造自己的后台系统从sqlserver转向的mysql,你还在犹豫什么?

 

二.数据库的版本:
RDS mysql目前支持5.5和5.1两个版本,sqlserver支持2008一个版本,通常在高版本中会:修复掉低版本中一些bug提高系统的稳定和安全性,优化改进低版本的设计提升系统的性能,推出一些新的功能丰富提升系统的易用性。所以这里我们我们以mysql为例,看一看在5.5与5.1相比较有哪些改动:
1)默认存储引擎更改为InnoDB

2)提高性能和可扩展性
. 提高了默认线程并发数(innodb_thread_concurrency)
. 后台输入/输出线程控制(innodb_read_io_threads、innodb_write_io_threads)
. 适应性散列索引(Hash Index)控制,用户可以关闭适应性散列功能
. 插入缓冲(Insert Buffering)控制,用户可以关闭innodb的插入缓冲功能
. 恢复组提交(Restored Group Commit)
. 多个回滚段(Multiple Rollback Segments),之前的innodb版本最大能处理1023个并发处理操作,现在mysql5.5可以处理高达128K的并发事物,
. 改善了日志系统互斥和单独刷新(Flush)列表互斥
. 改善清除程序进度,在mysql5.5中清楚操作线程是独立的线程,并支持并发,可以使用innodb_purge_treads配置。

3)提高实用性
. 半同步复制(Semi-synchronous Replication)
. 复制Heartbeat
. 中继日志自动恢复(Automatic Relay Log Recovery)

4)提高易管理性和效率
. 建立快速索引(Faster Index Creation)
. 高效的数据压缩(Efficient Data Compression)
. 为大物件和可变长度列提供高效存储
. 增加了INFORMATION_SCHEMA表,新的表提供了与InnoDB压缩和事务处理锁定有关的具体信息
. 支持utf8mb4字符集

5)提高可用性
. 新的表/索引分区选项。MySQL5.5将表和索引RANG和LIST分区范围扩展到了非整数列和日期,并增加了在多个列上分区的能力。

6)改善检测和诊断
. Mysql5.5引入了一种新的性能架构(performancn_shema,P_S),用于监控mysql监控服务器运行时的性能。

有了这么多功能的改进提升,还有什么理由不使用5.5.

 

三.存储空间:

在RDS的工单问题中,空间问题的咨询应该可以算得上是top 5,当RDS的实际使用空间超过了购买的空间后,实例就会被锁定了,这样就会导致应用无法再写入,更新数据,造成应用的报错,在RDS的控制台中可以设定空间的报警阀值,当实例空间到达报警阀值后用户就会收到报警短信,这个时候用户则需要对判断当前的空间增长是否合理,如果合理的增长则需要对实例的进行弹性升级,如果增长不合理,则需要进行快速的判断。所以在这里我们就需要了解RDS的空间组成到底包括了哪些?

RDS的实例空间主要包括了:数据文件,日志文件,其他文件(包括系统文件,临时文件)

下面我们来详细介绍一下这些文件组成:

1.   数据文件:顾名思义该文件空间则是指的存放用数据的文件,对应到数据库中就是一张张的表,表的组成主要包括:数据和索引两类,所以当你看到你的数据文件占用实例的空间非常多的时候,你需要看一下到底是哪一张表占用了我的空间,RDS在控制台中提供了:性能优化–>大表优化的性能报表,用户则可以在这里找到系统中占用最大的文件。但是凡事需要未雨绸缪,我们在设计应用的时候,就要考虑未来数据的增长趋势(数据的生命保留周期),合理的设计数据的存放位置(存放文件or数据库),存储格式(数据类型,字段大小),存放方式(存储引擎选择,分区还是分表)。下图的案例案例中,数据空间占用了实例大量的空间,用户可以通过排查数据库中到底是哪一张表占用导致的(可以参考性能优化–>大表优化)     图1

2.  日志文件:RDS采用的主备M-M的高可用架构,其主备之间的数据同步依靠日志的方式,mysql:binlog,sqlserver:transaction log;同时RDS支持将实例恢复到任何一个时间点,这个功能需要依靠运用备份和日志。为了减少日志空间对用户的空间的占用,RDS mysql会定时的把日志备份到oss中,然后再将其清除,这样用户需要下载RDS日志的时候可以从oss中获取;对于sqlserver,rds对定期的对数据库进行备份,然后将事务日志进行回收。当日志空间出现异常的时候,如下图,由于应用写入数据压力过大,导致binlog日志增加的速度大于了RDS上传到oss的速度,造成了binlog日志增长迅猛,这时候需要用户对数据库的update,insert,delete进行优化,减小对数据库的变更操作:图2

3.  其他文件:

  1. a.系统文件,每个数据库在安装的时候会初始化一些系统文件,这些系统文件是数据库正常运行的前提,mysql:ibdata1,ib_logfile0,sqlserver:MSDBLog,master.mdf,下面的这幅图反映了RDS“其他文件”占用达到了非常多的问题,可以参考blog:ibdata1文件持续增加的问题定位

图3

b.临时文件:通常可以理解为数据库做一个大的操作,由于内存不足,数据库需要将内存中的文件       写到磁盘上,这样则有可能导致临时文件写的非常大,通常出现这种情况的时候,数据库在做大         的排序操作(order by,group by),由于内存不足,需要将数据刷写到临时文件中,下图的案         例中,由于数据库中一条order by的语句频繁的执行,但是排序的sql没有索引,导致了临时文件        的频繁写操作:

图4

Ps.RDS已经计划在idb中集成实例的空间诊断这个功能,帮助用户分析实例空间的使用,诊断问题的根源。

 

四.实例规格:

不同的RDS实例规格提供了不同的性能指标,可以参考RDS不同规格的测试报告。如何选择RDS的规格,由于该选项会直接关系你的应用是否在RDS上正常的运作起来,同时还关系成本的问题,所以深刻的理解这些参数,有助于你更好的使用RDS,更低成本的使用RDS。下面来分析一下RDS规格中这3个关键指标:

1.  内存(mem):内存是实例的核心指标之一,比如2400M Mem内存的实例,内存参数大小配置在实例的参数文件中,限定了实例能够使用的内存大小为2400M。由于内存的访问速度远远大于磁盘,所以通常情况下,内存中缓存的数据越多,数据库的响应就越快;如果内存较小,当数据超过一定量后,就会被刷新到磁盘上,如果新的请求再次访问该数据,就要从磁盘上把它从磁盘中读取进内存,消耗磁盘io,这个时候数据库响应就会变慢。

2.  IOPS:刚才提到数据从磁盘读取到内存,或者数据从内存写到磁盘都需要消耗io,而磁盘的io能力是有一定,比如新1型提供的iops为150个,也就是每秒能够提供150次的随机磁盘io操作,所以如果用户的数据量很大,内存很小,而写入,更新,删除,查询的压力很大,由于iops的限制,对于数据库来说就是一条sql需要执行很长的时间才能返回结果,对于应用来说就会造成整体响应的变慢;

3.  连接数:连接数是数据库中的一个概念,在RDS中的连接数是指用户最多能够创建多少个连接。用户的连接数使用的多少取决于用户的连接类型,例如用户使用了连接池管理连接的长连接应用(如java类应用),在连接池中配置的最大连接数为100,那么在RDS中看到的连接数应该为:app服务器×100;对于短连接的应用而言(如php应用,C/S结构的应用),一个请求到到数据库,就会产生一个连接,当请求完毕后就会释放连接。当用户使用的连接数超过了实例规定的连接数后,RDS会直接抛错给应用,mysql:too many connections,sqlserver:Logon failed for login ‘u_xxxx’ due to trigger execution.

     可以看到上面的3个核心指标都能够直接影响用户使用,下图展示了不同规格能够达到的QPS指标,该测试报告采用标准的sysbench oltp(读写混合)测试模型,可以作为每种实例规格的吞吐能力的参考,用户可以根据自己的业务压力来选择合适的实例规格:

五.地域选择:

RDS的集群主要分布在杭州和青岛两个地域,用户往往采用SLB+ECS+RDS的架构,所以保持着三者在同一个地域就可以了,杭州到青岛的网络访问延迟大概在20ms左右,所以应当避免跨地域的访问情况。

 

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
存储 关系型数据库 MySQL
深入理解MySQL索引:从原理到最佳实践
深入理解MySQL索引:从原理到最佳实践
203 0
|
7月前
|
存储 分布式计算 关系型数据库
AnayticDB MySQL降本30%的数据湖最佳实践
上海兰姆达数据科技有限公司,基于ADB MySQL 湖仓版降本30%的数据湖最佳实践
|
2月前
|
监控 关系型数据库 MySQL
MySQL Binlog实战:在生产环境中的应用与最佳实践【实战应用】
MySQL Binlog实战:在生产环境中的应用与最佳实践【实战应用】
36 0
|
4月前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步
在使用阿里云DTS 进行MySQL->ClickHouse同步时,从准备工作,到创建任务,再到后期运维处理,新手可能会感到茫然和不知所措。为了帮助新手顺利过渡,本文将介绍使用阿里云DTS在进行MySQL到ClickHouse迁移时的最佳实践以及常见踩坑问题, 我们希望通过这篇文章,让您能无忧使用阿里云DTS进行数据迁移,享受ClickHouse带来的高效数据分析体验。
98313 12
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步
|
存储 SQL 机器学习/深度学习
Mysql(二)Explain详解和索引最佳实践
Mysql(二)Explain详解和索引最佳实践
108 0
|
存储 SQL JSON
PolarDB MySQL 5.6/MySQL 5.6升级PolarDB MySQL 8.0最佳实践
升级概述为什么选择升级到PolarDB MySQL 8.0?PolarDB MySQL 8.0.1 (基于官方MySQL 8.0.13内核版本)发布于2019-12-03和PolarDB MySQL 8.0.2(基于官方MySQL 8.0.18内核版本)发布于2020-07-22*,增强了诸多卓越的架构增强和内核能力,为业务提供更灵活的技术解决方案和强大收益的性能提升,主要包括:Serverles
466 0
|
存储 SQL JSON
PolarDB MySQL 5.7/RDS 5.7升级到PolarDB MySQL 8.0最佳实践
升级概述PolarDB MySQL 5.7/RDS 5.7 向 8.0 升级过程中,经常遇到的问题主要是性能问题、语法兼容性问题,以及周边组件是否的支持,查询的性能问题一般是由于优化器升级导致执 行计划有变,此类问题需要对性能低下的语句进行针对性的性能优化,但性能问题基本不会引发业务报错以及代码的改写问题,此类问题不在本文讨论范围之内。本文主要讨论真实的兼容性问题,此类问题需要在数据库升级过程中,
925 0
|
关系型数据库 PostgreSQL
《PostgreSQL在阿里云的实践与发展》电子版下载地址
《PostgreSQL在阿里云的实践与发展》电子书
76 0
《PostgreSQL在阿里云的实践与发展》电子版下载地址
|
关系型数据库 PostgreSQL
|
关系型数据库 数据库 RDS
《袋鼠云基于阿里云RDS的数据库架构实践》电子版地址
袋鼠云基于阿里云RDS的数据库架构实践
93 0
《袋鼠云基于阿里云RDS的数据库架构实践》电子版地址