Redis集群Proxy支持select命令方案介绍

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

阿里云Redis集群

阿里云的redis集群版由3大组件构成:

  • redis-config : 集群管理工具
  • redis-server : 优化过源码的redis,支持slot, 扩容迁移等
  • redis-proxy : 单线程,c++14语言实现的内核

数据链路图如下所示,用户的请求通过Proxy负载均衡之后分发到后端多个节点进行请求。
screenshot.png

Proxy介绍

Redis通常作为缓存,用户在访问Redis的时候都希望延迟尽量低,所以我们选择了C++进行开发,另外为了使用更多C++的新特性,我们选择了C++14进行开发,大量精简了代码提高了代码可阅读性。为了简化模型Proxy设计成单进程单线程的结构,所有用户请求都只会在一个工作线程上进行转发。另外为了保证云资源之间的隔离性,每个用户都具有独立的Proxy避免不同用户之间的互相影响。同时Proxy提供了HTTP的接口用于管控系统的控制和查询。阿里云Redis集群Proxy特性如下:

  • 支持单slot命令,支持set,get等单key命令
  • 支持多key命令,支持mset,mget等分布在不同db进行请求的命令
  • 支持pubsub订阅命令
  • 支持相同slot上的事物
  • 支持select命令
  • 热升级,链接不断开
  • 高性能
  • 低延时

从以上特性我们可以看到阿里云Redis的Proxy支持了绝大部分的Redis的命令,具有很高的兼容性。后续阿里云Redis集群Proxy还会提供block类命令支持,读写分离等特性。

Proxy如何支持select命令

方案1:一对一链接

screenshot.png
简单的方案如上图Proxy可以维护和客户端一对一的链接,对于所有客户端的请求建立一对一的链接,所有请求都直接进行转发到后端处理。这样的方案可以直接实现select命令的支持,但是这样的方案带来的问题就是需要频繁和后端Redis建立链接,性能比较差,而且在用户使用短连接的情况下还会造成链接风暴导致链路不稳定。

方案2:长连接

screenshot.png
方案二Proxy和后端Redis之间维护一个长连接,所有的命令都通过该长连接进行转发,Proxy需要维护每个前端Client的db信息,在转发命令的时候显示的增加select调用。这个方案如果在前端Client使用不同db的时候会导致后端db链接频繁进行db的切换,而且qps放大的倍数直接和client链接数目相关,会极大的影响集群的性能。

方案3:db级别长连接

screenshot.png
如上图Proxy到Redis之间每个db都维护一个长连接,每个长连接建立的时候都会执行select命令标注该链接为某个db的链接。用户执行select命令之后我们就标记该链接为对应的db,Proxy在接收到用户请求之后根据链接db信息转发到后端对应的长连接上,如果没有存在的长连接则新建一个对应的db长连接。考虑到原生的Redis支持的db数目为16个db,在后端Redis节点数目不多的情况下,Proxy支撑的连接数是有限的。这种方案可以降低Proxy的链接数目,同时可以让命令在相同链接上合并发送提高Proxy到Redis的性能。

总结

阿里云Redis采用了上述方案3来实现select多命令的支持,在实际过程中由于Proxy还需要支持事物、订阅等命令,实际的链接模型会比上面的还复杂,后续我们也会继续介绍事物、订阅等命令如何实现。阿里云Redis致力于提供最好的云数据库Redis服务,我们正在寻找有一样志向的同学加入我们,有兴趣的同学请猛击链接

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
打赏
0
0
0
2
9324
分享
相关文章
Redis应用—7.大Value处理方案
本文介绍了一种用于监控Redis大key的方案设计及其实现步骤。主要内容包括:方案设计、安装与配置环境、binlog数据消费者。
109 29
Redis应用—7.大Value处理方案
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
19天前
|
Redis如何优化频繁命令往返造成的性能瓶颈?
频繁的命令往返是Redis性能优化中需要重点关注的问题。通过使用Pipeline、Lua脚本、事务、合并命令、连接池以及合理设置网络超时,可以有效减少网络往返次数,优化Redis的性能。这些优化措施不仅提升了Redis的处理能力,还能确保系统在高并发情况下的稳定性和可靠性。
42 14
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
Redis集群有哪些方案
1. 主从复制集群 : 读写分离, 一主多从 , 解决高并发读的问题 2. 哨兵集群 : 主从集群的结构之上 , 加入了哨兵用于监控集群状态 , 主节点出现故障, 执行主从切换 , 解决高可用问题 3. Cluster分片集群 : 多主多从 , 解决高并发写的问题, 以及海量数据存储问题 , 每个主节点存储一部分集群数据
Redis是如何建立连接和处理命令的
本文主要讲述 Redis 是如何监听客户端发出的set、get等命令的。
1318 160
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
java连接redis和基础操作命令
通过以上内容,您可以掌握在Java中连接Redis以及进行基础操作的基本方法,进而在实际项目中灵活应用。
144 30
Redis原理—3.复制、哨兵和集群
详细介绍了Redis的复制原理、哨兵原理和集群原理。
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应

相关产品

  • 云数据库 Tair(兼容 Redis)
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等