SMProxy,让你的数据库操作快三倍!

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 一个基于 MySQL 协议,Swoole 开发的MySQL数据库连接池。

中文 | English

SMProxy

喜欢请star

github: https://github.com/louislivi/smproxy

Swoole MySQL Proxy

一个基于 MySQL 协议,Swoole 开发的MySQL数据库连接池。

原理

将数据库连接作为对象存储在内存中,当用户需要访问数据库时,首次会建立连接,后面并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。
使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。

同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等。
也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。超出最大连接数会采用协程挂起,等到有连接关闭再恢复协程继续操作。

特性

  • 支持读写分离
  • 支持数据库连接池,能够有效解决 PHP 带来的数据库连接瓶颈
  • 支持 SQL92 标准
  • 采用协程调度
  • 支持多个数据库连接,多个数据库,多个用户,灵活搭配
  • 遵守 MySQL 原生协议,跨语言,跨平台的通用中间件代理
  • 支持 MySQL 事务
  • 支持 HandshakeV10 协议版本
  • 完美兼容 MySQL4.1 - 8.0
  • 兼容各大框架,无缝提升性能

设计初衷

PHP 没有连接池,所以高并发时数据库会出现连接打满的情况,Mycat 等数据库中间件会出现部分 SQL 无法使用,例如不支持批量添加等,而且过于臃肿。
所以就自己编写了这个仅支持连接池和读写分离的轻量级中间件,使用 Swoole 协程调度 HandshakeV10 协议转发使程序更加稳定,不用像 Mycat 一样解析所有 SQL 包体,增加复杂度。

环境

  • Swoole 2.1+ swoole_version
  • PHP 7.0+ php_version

安装

(推荐)直接下载最新发行版的 PHAR 文件,解压即用:

https://github.com/louislivi/smproxy/releases/latest

或者使用 Git 切换任意版本:

git clone https://github.com/louislivi/smproxy.git
composer install --no-dev # 如果你想贡献你的代码,请不要使用 --no-dev 参数。

运行

需要给予 bin/SMProxy 执行权限。

  SMProxy [ start | stop | restart | status | reload ] [ -c | --config <configuration_path> ]
  SMProxy -h | --help
  SMProxy -v | --version

Options:

  • start 运行服务
  • stop 停止服务
  • restart 重启服务
  • status 查询服务运行状态
  • reload 平滑重启
  • -h --help 帮助
  • -v --version 查看当前服务版本
  • -c --config 设置配置项目录

SMProxy连接测试

测试SMProxy与测试MySQL完全一致,MySQL怎么连接,SMProxy就怎么连接。

推荐先采用命令行测试:
(请勿使用MYSQL8.0客户端链接测试)

mysql -uroot -p123456 -P3366 -h127.0.0.1

也可采用工具连接。

没用框架的 PHP 7.2.6

PHP7.2.6

没用:0.15148401260376,用了:0.040808916091919

未使用连接池: 0.15148401260376

ab

使用连接池: 0.040808916091919

ab

ThinkPHP 5.0

ThinkPHP5

未使用连接池:

ab

使用连接池:

ab

Laravel 5.7

Laravel5.7

未使用连接池:

ab

使用连接池:

ab

MySQL 连接数

未使用连接池:

MySQL

使用连接池:

MySQL

请以实际压测为准,根数据量,网络环境,数据库配置有关。
测试中因超出最大连接数会采用协程挂起 等到有连接关闭再恢复协程继续操作,
所有并发量与配置文件maxConns设置的不合适,会导致比原链接慢,主要是为了控制连接数。

交流

QQ群:722124111

配置文件

  • 配置文件位于 smproxy/conf 目录中,其中大写 ROOT 代表当前 SMProxy 根目录。

database.json

{
  "database": {
    "account": {
      "自定义用户名": {
        "user": "必选,数据库账户",
        "password": "必选,数据库密码"
      },
      "...": "必选1个,自定义用户名 与serverInfo中的account相对应"
    },
    "serverInfo": {
      "自定义数据库连接信息": {
        "write": {
          "host": "必选,写库地址 多个用[]表示",
          "port": "必选,写库端口",
          "timeout": "必选,写库连接超时时间(秒)",
          "account": "必选,自定义用户名 与 account中的自定义用户名相对应"
        },
        "read": {
          "host": "可选,读库地址 多个用[]表示",
          "port": "可选,读库端口",
          "timeout": "可选,读库连接超时时间(秒)",
          "account": "可选,自定义用户名 与 account中的自定义用户名相对应"
        }
      },
      "...": "必选1个,自定义数据库连接信息 与databases中的serverInfo相对应,read读库可不配置"
    },
    "databases": {
      "数据库名称": {
        "serverInfo": "必选,自定义数据库连接信息 与serverInfo中的自定义数据库连接信息相对应",
        "maxConns": "必选,该库服务最大连接数,支持计算",
        "maxSpareConns": "必选,该库服务最大空闲连接数,支持计算",
        "startConns": "可选,该库服务默认启动连接数,支持计算",
        "maxSpareExp": "可选,该库服务空闲连接数最大空闲时间(秒),默认为0,支持计算",
        "charset": "可选,该库编码格式"
      },
      "...": "必选1个,数据库名称 多个数据库配置多个"
    }
  }
}
  • maxConns,maxSpareConns,startConns

    • 推荐设置为server.json中配置的worker_num的倍数swoole_cpu_num()*N
  • 多个读库,写库

    • 目前采取的是随机获取连接,推荐将maxConnsstartConnsstartConns至少设置为max(读库,写库)*worker_num 的1倍以上

server.json

{
  "server": {
    "user": "必选,SMProxy服务用户",
    "password": "必选,SMProxy服务密码",
    "charset": "可选,SMProxy编码,默认utf8mb4",
    "host": "可选,SMProxy地址,默认0.0.0.0",
    "port": "可选,SMProxy端口,默认3366 如需多个以`,`隔开",
    "mode": "可选,SMProxy运行模式,SWOOLE_PROCESS多进程模式(默认),SWOOLE_BASE基本模式",
    "sock_type": "可选,sock类型,SWOOLE_SOCK_TCP tcp",
    "logs": {
      "open":"必选,日志开关,true 开 false 关",
      "config": {
        "system": {
          "log_path": "必选,SMProxy系统日志目录",
          "log_file": "必选,SMProxy系统日志文件名",
          "format": "必选,SMProxy系统日志目录日期格式"
        },
        "mysql": {
          "log_path": "必选,SMProxyMySQL日志目录",
          "log_file": "必选,SMProxyMySQL日志文件名",
          "format": "必选,SMProxyMySQL日志目录日期格式"
        }
      }
    },
    "swoole": {
      "worker_num": "必选,SWOOLE worker进程数,支持计算",
      "max_coro_num": "必选,SWOOLE 协程数,推荐不低于3000",
      "pid_file": "必选,worker进程和manager进程pid目录",
      "open_tcp_nodelay": "可选,关闭Nagle合并算法",
      "daemonize": "可选,守护进程化,true 为守护进程 false 关闭守护进程",
      "heartbeat_check_interval": "可选,心跳检测",
      "heartbeat_idle_time": "可选,心跳检测最大空闲时间",
      "reload_async": "可选,异步重启,true 开启异步重启 false 关闭异步重启",
      "log_file": "可选,SWOOLE日志目录"
    },
    "swoole_client_setting": {
      "package_max_length": "可选,SWOOLE Client 最大包长,默认16777216MySQL最大支持包长"
    },
    "swoole_client_sock_setting": {
      "sock_type": "可选,SWOOLE Client sock 类型,默认tcp 仅支持tcp"
    }
  }
}
  • user,password,port,host

    • SMProxy的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址)
    • 可随意设置用于SMProxy登录验证
    • 例如默认配置登录为mysql -uroot -p123456 -P 3366 -h 127.0.0.1
    • SMProxy登录成功MySQL COMMIT会提示Server version: 5.6.0-SMProxy
  • worker_num

    • 推荐使用swoole_cpu_num()swoole_cpu_num()*N

MySQL8.0

  • SMProxy1.2.4及以上可直接使用
  • SMProxy1.2.4以下需要做兼容处理
    MySQL-8.0默认使用了安全性更强的caching_sha2_password插件,其他版本如果是从5.x升级上来的, 可以直接使用所有MySQL功能, 如是新建的MySQL, 需要进入MySQL命令行执行以下操作来兼容:
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password';
flush privileges;

将语句中的 'root'@'%' 替换成你所使用的用户, password 替换成其密码.

如仍无法使用, 应在my.cnf中设置 default_authentication_plugin = mysql_native_password

其他学习资料

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
缓存 数据库 UED
《优化数据库查询性能的五大技巧》
数据库查询性能直接影响着系统的响应速度和用户体验。本文将介绍五种优化数据库查询性能的技巧,涵盖了索引优化、查询语句优化、缓存机制、分区表和硬件优化等方面,帮助开发人员有效提升系统的性能和稳定性。
|
11月前
|
SQL Oracle 安全
Oracle优化01-引起数据库性能问题的因素
Oracle优化01-引起数据库性能问题的因素
128 0
|
12月前
|
SQL JavaScript 关系型数据库
8种专坑同事的 SQL 写法,性能降低100倍,不来看看?
8种专坑同事的 SQL 写法,性能降低100倍,不来看看?
|
12月前
|
SQL 消息中间件 Java
SpringBoot 实现 Excel 导入导出,百万数据量,性能爆表!
SpringBoot 实现 Excel 导入导出,百万数据量,性能爆表!
|
12月前
|
SQL 消息中间件 JavaScript
性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!
性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!
|
12月前
|
存储 SQL canal
业务单表 读写缓慢 如何优化?
业务单表 读写缓慢 如何优化?
|
SQL 运维 分布式计算
单表七千六百万数据量(oracle)进行实时汇总,sql很慢客户不能忍一下,该怎么办?
单表七千六百万数据量(oracle)进行实时汇总,sql很慢客户不能忍一下,该怎么办?
222 0
单表七千六百万数据量(oracle)进行实时汇总,sql很慢客户不能忍一下,该怎么办?
|
SQL 消息中间件 固态存储
国产CPU执行SPL实现数据库运算的性能实用性测试
任务背景 国际大环境就不用多说了。 对于数据库类的关键业务,全国产技术(国产CPU+国产数据库)和国外主流技术在性能上相比还有不小的差距,经常需要借助分布式技术使用数倍的硬件才能获得类似的效果。
|
NoSQL Cloud Native 多模数据库
比心陪练引入阿里云数据库,整体IT成本降幅达40%
比心陪练日前与阿里云正式达成合作,通过引入阿里云多款自研云数据库产品,已完成了多场景核心业务系统构建,整体IT成本降幅超过40%。
2301 0
比心陪练引入阿里云数据库,整体IT成本降幅达40%
|
存储 监控 关系型数据库
分分钟解决MySQL查询速度慢与性能差
分分钟解决MySQL查询速度慢与性能差 一、什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
2628 0