gearman实现redis缓存mysql

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

Gearman简介:

        Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:

1、Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台

2、Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。

3、Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,4、Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。

设计思路:

    首先利用mysql UDF(通过了lib_mysqludf_jsongearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。

 

实施过程:

1、  配置YUM源,安装gearmand

http://down.51cto.com/data/2274661    ##YUM包文件配置,和GEARMAND 需要的包

    1、yum install -y php-pecl-gearman libgearman  libgearman-devel gearmand nc

    2、启动服务/etc/init.d/gearmand start

    3、检查状态是否OK   netstat -alnutp |grep gearman

###gearman默认使用的端口为4370

2、  安装数据库、php-MySQL插件

    1、  数据库安装(略)

    2、  插件安装yum -yinstall php-mysql #安装这个插件主要是用PHP来数据收集写入操作

    3、  启动MySQL

3、在数据服务器上安装lib_mysqludf_json

    1、  unzip master.zip

    2、  cd lib_mysqludf_json-master

    3、  rm -rf lib_mysqludf_json.so

    4、  gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.solib_mysqludf_json.c

##把重新编译的lib_mysqludf_json.so 拷贝到/usr/local/mysql/lib/plugin目录下

4、在数据服务器上安装gearman-mysql-udf

    1、  解压包tar xf gearman-mysql-udf-0.6.tar.gz -C ./

    2、  Cd gearman-mysql-udf-0.6

    3、  编译./configure--with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/

#注意这是自己定义的数据安装包的目录,若用YUM包安装则用

./configure --with-mysql=/usr/bin/mysql_config  --libdir=/usr/lib64/plugin/

编译报错:configure: error:At least version 0.33 of libgearman is required for gearman-mysql-udf

安装:yum -y installlibgearman-devel #由于原来包版本低,重新安装个即可。

5、  安装make&& make install ##插件安装到MySQL的插件目录下。

6、进入数据库,创建对应的function,trigger及设置gearmanserver信息

                   1、createfunction json_object returns string soname 'lib_mysqludf_json.so'

                   2、create functiongman_do_background returns string soname 'libgearman_mysql_udf.so'

                   3、createfunction gman_servers_set returns string soname 'libgearman_mysql_udf.so';

7、安装redis#建议用3.0.7的版本且安装php连接redis的驱动,测试环境用yum安装redis

    1、yum install php-pecl-redis redis –y

    2、启动redis服务servie redis start

    3、登录redis简单验证

    root@nod1 gearman-mysql-udf-0.6]#redis-cli

    redis 127.0.0.1:6379> keys *

    1) "counter:__rand_int__"

    2) "key:__rand_int__"

    3) "save"

    4) "mylist"

8、登录数据库,根据业务对某个库下的某个表添加触发器,且设置gearman server的信

         1、/usr/local/mysql/bin/mysql-S /tmp/mysql3306.sock -p

         2、create database wy

         3、create table test(idint primary key,name char(20))

         4、设置gearman server信息##非常重要,若不执行会导致数据无法收集到REDIS中去

                   MariaDB [wy]> SELECTgman_servers_set('127.0.0.1:4730');

+------------------------------------+

| gman_servers_set('127.0.0.1:4730') |

+------------------------------------+

| 127.0.0.1:4730                     |

+------------------------------------+

9、  添加触发器

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test  FOR EACH ROW BEGIN

    SET@ret=gman_do_background('syncToRedis', json_object(NEW.id AS `id`, NEW.name AS`name`));

  END$$

DELIMITER ;

10、  编写一个worker程序,负责将gearman中的数据传入到redis中去:

文件名:redis_workder.php

1、编写:

2、启动phpredis_worker.php

启动报错:PHPWarning:  GearmanWorker::work():send_packet(GEARMAN_ERRNO) Failed to send server-options packet ->libgearman/connection.cc:485 in /home/redis_worker.php on line 8

解决办法:/usr/sbin/gearmand -d -L 127.0.0.1 -p 4730

然后在启动:nohup php redis_worker.php & 保持后台运行





    启动gearmand报错/var/log/mearmond.log错误未解决

    ERROR 2016-12-28 07:46:38.000000 [ main ] socket()(Address family not supported by protocol) ->libgearman-server/gearmand.cc:468

      ERROR 2016-12-28 07:46:38.000000 [  main ] gearmand_sockfd_close() called with aninvalid socket -> libgearman-server/io.cc:933


总结:

测试通过在MYSQL数据库写入数据,然后观察REDIS是否有数据,若有则成功,这种方式效率是非常低的,在100W数据,数据库写入性能降低非常大。

    



本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1887632

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
13天前
|
缓存 NoSQL 关系型数据库
13- Redis和Mysql如何保证数据⼀致?
该内容讨论了保证Redis和MySQL数据一致性的几种策略。首先提到的两种方法存在不一致风险:先更新MySQL再更新Redis,或先删Redis再更新MySQL。第三种方案是通过MQ异步同步以达到最终一致性,适用于一致性要求较高的场景。项目中根据不同业务需求选择不同方案,如对一致性要求不高的情况不做处理,时效性数据设置过期时间,高一致性需求则使用MQ确保同步,最严格的情况可能涉及分布式事务(如Seata的TCC模式)。
37 6
|
26天前
|
缓存 NoSQL 关系型数据库
在Python Web开发过程中:数据库与缓存,MySQL和NoSQL数据库的主要差异是什么?
MySQL是关系型DB,依赖预定义的表格结构,适合结构化数据和复杂查询,但扩展性有限。NoSQL提供灵活的非结构化数据存储(如JSON),无统一查询语言,但能横向扩展,适用于大规模、高并发场景。选择取决于应用需求和扩展策略。
114 1
|
20天前
|
缓存 关系型数据库 MySQL
MySQL 查询优化:提速查询效率的13大秘籍(索引设计、查询优化、缓存策略、子查询优化以及定期表分析和优化)(中)
MySQL 查询优化:提速查询效率的13大秘籍(索引设计、查询优化、缓存策略、子查询优化以及定期表分析和优化)(中)
|
19小时前
|
存储 缓存 运维
软件体系结构 - 缓存技术(5)Redis Cluster
【4月更文挑战第20天】软件体系结构 - 缓存技术(5)Redis Cluster
28 10
|
8天前
|
缓存 NoSQL Java
使用Redis进行Java缓存策略设计
【4月更文挑战第16天】在高并发Java应用中,Redis作为缓存中间件提升性能。本文探讨如何使用Redis设计缓存策略。Redis是开源内存数据结构存储系统,支持多种数据结构。Java中常用Redis客户端有Jedis和Lettuce。缓存设计遵循一致性、失效、雪崩、穿透和预热原则。常见缓存模式包括Cache-Aside、Read-Through、Write-Through和Write-Behind。示例展示了使用Jedis实现Cache-Aside模式。优化策略包括分布式锁、缓存预热、随机过期时间、限流和降级,以应对缓存挑战。
|
15天前
|
存储 缓存 NoSQL
使用redis进行缓存加速
使用redis进行缓存加速
26 0
|
16天前
|
存储 缓存 NoSQL
Java手撸一个缓存类似Redis
`LocalExpiringCache`是Java实现的一个本地缓存类,使用ConcurrentHashMap存储键值对,并通过ScheduledExecutorService定时清理过期的缓存项。类中包含`put`、`get`、`remove`等方法操作缓存,并有`clearCache`方法来清除过期的缓存条目。初始化时,会注册一个定时任务,每500毫秒检查并清理一次过期缓存。单例模式确保了类的唯一实例。
13 0
|
27天前
|
NoSQL 关系型数据库 MySQL
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
151 1
|
13天前
|
NoSQL Linux Redis
06- 你们使用Redis是单点还是集群 ? 哪种集群 ?
**Redis配置:** 使用哨兵集群,结构为1主2从,加上3个哨兵节点,总计分布在3台Linux服务器上,提供高可用性。
46 0
|
22天前
|
负载均衡 监控 NoSQL
Redis的集群方案有哪些?
Redis集群包括主从复制(基础,手动故障恢复)、哨兵模式(自动高可用)和Redis Cluster(官方分布式解决方案,自动分片和容错)。此外,还有如Codis、Redisson和Twemproxy等第三方工具用于代理和负载均衡。选择方案需考虑应用场景、数据规模和并发需求。
34 2