Redis集群Proxy支持select命令方案介绍

1年前 5662

目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

阿里云Redis集群

阿里云的redis集群版由3大组件构成:

  • redis-config : 集群管理工具
  • redis-server : 优化过源码的redis,支持slot, 扩容迁移等
  • redis-proxy : 单线程,c++14语言实现的内核

数据链路图如下所示,用户的请求通过Proxy负载均衡之后分发到后端多个节点进行请求。
screenshot.png

Proxy介绍

Redis通常作为缓存,用户在访问Redis的时候都希望延迟尽量低,所以我们选择了C++进行开发,另外为了使用更多C++的新特性,我们选择了C++14进行开发,大量精简了代码提高了代码可阅读性。为了简化模型Proxy设计成单进程单线程的结构,所有用户请求都只会在一个工作线程上进行转发。另外为了保证云资源之间的隔离性,每个用户都具有独立的Proxy避免不同用户之间的互相影响。同时Proxy提供了HTTP的接口用于管控系统的控制和查询。阿里云Redis集群Proxy特性如下:

  • 支持单slot命令,支持set,get等单key命令
  • 支持多key命令,支持mset,mget等分布在不同db进行请求的命令
  • 支持pubsub订阅命令
  • 支持相同slot上的事物
  • 支持select命令
  • 热升级,链接不断开
  • 高性能
  • 低延时

从以上特性我们可以看到阿里云Redis的Proxy支持了绝大部分的Redis的命令,具有很高的兼容性。后续阿里云Redis集群Proxy还会提供block类命令支持,读写分离等特性。

Proxy如何支持select命令

方案1:一对一链接

screenshot.png
简单的方案如上图Proxy可以维护和客户端一对一的链接,对于所有客户端的请求建立一对一的链接,所有请求都直接进行转发到后端处理。这样的方案可以直接实现select命令的支持,但是这样的方案带来的问题就是需要频繁和后端Redis建立链接,性能比较差,而且在用户使用短连接的情况下还会造成链接风暴导致链路不稳定。

方案2:长连接

screenshot.png
方案二Proxy和后端Redis之间维护一个长连接,所有的命令都通过该长连接进行转发,Proxy需要维护每个前端Client的db信息,在转发命令的时候显示的增加select调用。这个方案如果在前端Client使用不同db的时候会导致后端db链接频繁进行db的切换,而且qps放大的倍数直接和client链接数目相关,会极大的影响集群的性能。

方案3:db级别长连接

screenshot.png
如上图Proxy到Redis之间每个db都维护一个长连接,每个长连接建立的时候都会执行select命令标注该链接为某个db的链接。用户执行select命令之后我们就标记该链接为对应的db,Proxy在接收到用户请求之后根据链接db信息转发到后端对应的长连接上,如果没有存在的长连接则新建一个对应的db长连接。考虑到原生的Redis支持的db数目为16个db,在后端Redis节点数目不多的情况下,Proxy支撑的连接数是有限的。这种方案可以降低Proxy的链接数目,同时可以让命令在相同链接上合并发送提高Proxy到Redis的性能。

总结

阿里云Redis采用了上述方案3来实现select多命令的支持,在实际过程中由于Proxy还需要支持事物、订阅等命令,实际的链接模型会比上面的还复杂,后续我们也会继续介绍事物、订阅等命令如何实现。阿里云Redis致力于提供最好的云数据库Redis服务,我们正在寻找有一样志向的同学加入我们,有兴趣的同学请猛击链接

数据存储与数据库 redis 阿里云 性能 线程 c++ http 集群 负载均衡 云数据库 ScreenShot Redis集群 ATA 云数据库Redis版

作者

白宸
TA的文章

相关文章

评论 评论(1)

zhimingxie0

2017-06-29 11:46:30

codis 3.x 开始也支持select 了把