这段时间对memcache,redis,mongodb 3nosql进行了熟悉,简单的总结了下。

1.3者的性能来看,memcache性能是最好的,redis次之(redis有单进程限制,会碰到cpu 100%的限制,这个也比较难比较,一个多进程,一个单进程)

2.hascale out的角度来看,mongodb的灵活性和可用性最高。。memcache本身不怎么支持高可用。。需要前端实现persistencehash或者proxy。。

Redis虽然支持m-sm-s-s的结构,但是其对网络的依赖比较大,m-s之间的丢包也可能导致一次全量的镜像产生。

Redismemcache的横向扩展方式是一样的,但是单个的redis比较容易遇到cpu的瓶颈

3.从存储的数据类型来看,mongodb最丰富,而且操作也比较灵活,支持类sql的查询。。memcache是纯粹的key-value,数据结构单一

4.从数据的备份角度来看,memcache数据备份不太方便,需要3方工具,redis可以用持久化,mongodb的数据备份方法则比较多。

总结来说;

1.如果业务对数据的持久化没什么要求,数据结构比较单一,目的是做前端缓存的话,memcache会提供比较好的性能表现

2.如果业务对数据的持久化有要求,需要备份,支持读写分离的话,用redis做缓存比较合适(也可以做一部分的后端存储)

3.mongodb主要是用在大量数据的后端存储上,支持autosharding和自动故障转移,可用性比较高和hadoop群集类似


目前我们对nosql的使用还不太完善,包括一些监控,比如redis的定时monitor监控。对性能的分析也基本没有。。

比如redismongodb都是有slow log的,但是我们线上都没有开启更没有进行分析。。。这个可能是后续要做的事情。。

下面是一个简单的对比表:

对比参数 memcache redis mongodb
数据库类型 纯粹的key-value数据库,数据结构单一 结构化数据库 对象数据库
支持数据类型 string string,list,sort,sorted,hash 丰富的数据表达,索引,类似于关系型数据库
可用性 没有数据冗余机制,使用一致性hash增加可用性 支持ms,mss结构,slave重连主节点会导致一次全量同步产生,影响性能和效率。可以实现读写分离,slave重连使用全量数据,性能和效率会有问题,不支持自动sharding,需要程序上实现一致性hash 支持ms,支持replication setset可以自动故障转换,支持autosharding
持久化支持 数据完全放在内存中,没有持久化支持 支持持久化,快照持久化和aof持久化 1.8版本开始采用binlog方式支持持久化的可靠性
内存空间优化 最大内存限制,LRU算法淘汰(可选) 独立的vm机制,最大内存限制,数据ttl过期设置,内存淘汰(可选) 依赖于操作系统的vm管理机制,使用内存映射文件,把剩余内存作为缓存使用,没有最大内存限制,数据存在文件系统上和内存
是否是多线程 是,可以通过-t控制进线程数 单线程 多线程
性能 15W/s的GET,11W/s的SET 单个实例qps:8.5W左右(GET/SET)(RH2285 单个qps:3.5W左右(GET/SET)(RH2285
事务支持 并发场景下,用cas保证一致性 事务支持比较弱,保证每个事务操作连续执行,如果一个操作失败,不会回滚。使用乐观锁实现cas 不支持事务
数据分析 简单的get查询功能 简单查询功能,支持对集合和hash的操作等 查询方便,有类似于sql的语法,支持条件查询
应用场景 常作为前端缓存 缓存和数据存储,队列 大数据量存储
feature
支持使用pipeline减少查询次数 auto sharding,故障自动切换,mapreduce支持,大文件下的GridFs文件系统
安全性问题 目前没有身份验证 支持密码验证(requirepass 支持collection级别的身份验证(auth
数据备份和还原 数据存放于内存中,不方便备份和还原(stats cachedump 可以使用持久化做备份和还原 mongodump倍份,mogorestore还原。数据导出:mongoexport,mongoimport,导出数据支持csv格式
slowlog相关 没有slowlog相关的设置 支持slowlogslowlog存在于数据库中,使用slowlog get获取相关日志,slowlog的大小有限制,超过后会删除旧的 支持slowlogprofiling),slowlog存在于system.profilecapped collection)的collection
状态查看 stats info mongostat,db.serverStatus(),db.stats(),rs.statsu()
当前操作查看
monitor mongosniff,db.currentOp()
tunning 1.object size不要太大(默认只支持1M)

2.object 的expires设置(缓存应该具有超时的特点)

3.适合数据处理后的缓存,不适合缓存后的处理输出

1.开启vm,将不常用的value值给交换到磁盘上
2.尽量将数据存放在内存中3.前端使用proxy或persistence
hash来实现均衡访问4.使用master-slave结构,做读写分离
5.大数据量时持久化数据dump时影响服务,应该放在slave端做6.使用pipeline聚合访问7.网卡bonding
1. 索引相关(读多写少时) 2.explain解析查询

3.限定返回条目(limit)

4.只查看指定需要字段,不查询所有字段

5.使用capped collection (特殊业务)

6.使用replsets,扩展整体集群能力

本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1331133,如需转载请自行联系原作者