一款开源的自动化测试工具curl-loader

沉默术士 2017-07-03

性能 日志 http 配置 测试 url 压力测试

最近发现一款新的性能测试工具,觉得对其进行一番研究和学习,下面是我从各个网站收集到的资料:
  第一章:安装介绍
  本期将推开性能测试工具LoadRunner,去研究一款开源性能测试工具Curl-Loader,关于两者的优劣我也不大清楚,不过对于Lr的强大,相信大家是领教多了,而理解性能测试的原理的话,对于Curl-Loader就可以溢于言表了。前者可以做录制,且业务逻辑复杂的流程;而后者更倾向于压力面的扩展,对于虚拟用户数的个数在单个机器上可以上到10000个以上。
  由于该工具运行于Linux平台,所以安装过程还是比较麻烦的,我们来看看Curl-Loaderde的安装如下:
  1、官方下载地址如下所示:
  http://sourceforge.net/projects/curl-loader/files/
  2、在官方网站上查看readme文档,以及FAST START文档,根据文档提示在安装之前先首先要了解系统是否具备了安装Curl-Loader的相关包,如下所示:

  openssl以及开发包这两个包是必须要安装的,一句官方提供的文档。
  3、具体安装方法如下:
$tar zxfv curl-loader-.tar.gz
$cd curl-loader-
$make
  安装完成之后在主目录中会生成curl-loader可执行文件,主要通过该命令来执行压力测试。
  4、根据FAST START文档的说明,执行压力测试的过程可以通过conf-examples目录下的示例来解读,这里我们以10k.conf为例,配置如下:

GENERAL SECTION

BATCH_NAME= 10K //这里是配置测试对象的名称
CLIENTS_NUM_MAX=10000 //这里是配置最大虚拟用户数
CLIENTS_NUM_START=100 //这里是配置初始化并发虚拟用户数
CLIENTS_RAMPUP_INC=50 //这里是配置每次加载用户数
INTERFACE =eth0
NETMASK=16 //子网掩码位数
IP_ADDR_MIN= 192.168.1.1 //起始ip地址
IP_ADDR_MAX= 192.168.53.255 //最后的ip地址范围
CYCLES_NUM= -1
URLS_NUM= 1

URL SECTION

URL=http://localhost/index.html //配置URL地址

URL=http://localhost/ACE-INSTALL.html

URL_SHORT_NAME="local-index"
REQUEST_TYPE=GET
TIMER_URL_COMPLETION = 5000 # In msec. When positive, Now it is enforced by cancelling url fetch on timeout
TIMER_AFTER_URL_SLEEP =20
  配置完成之后就在命令下执行命令:./curl-loader -f 10K.conf,然后就开始执行压力测试。
  通过以上这个示例配置文件,可以清楚的理解这个就类似于LoadRunner中的场景设置页面,其实原理都一样。

 5、测试结果,在执行以上测试指令后,在命令窗口中就显示如下所示,具体的动态测试数据如下:

  在执行压力的时候显示如上页面,具体的参数就不一一详细介绍了,具体请参考官方FAQ文档,因为我也没有读完,只了解大概。
  在测试结束之后将会生成一系列的日志文件,详细测试信息还可以查看日志文件。
  第二章:学习视频
  1)开源性能测试工具Curl-Loader快速实战 - 1
  2)开源性能测试工具Curl-Loader快速实战 - 2
  3)开源性能测试工具Curl-Loader快速实战 - 3
  4)开源性能测试工具Curl-Loader快速实战 - 4
  开源性能测试工具Curl-Loader快速实战 (1)
  在线观看地址:http://www.boobooke.com/v/bbk1808
  下载地址:http://www.boobooke.com/v/bbk1808.zip
  开源性能测试工具Curl-Loader快速实战 (2)
  在线观看地址:http://www.boobooke.com/v/bbk1809
  下载地址:http://www.boobooke.com/v/bbk1809.zip
  开源性能测试工具Curl-Loader快速实战 (3)
  在线观看地址:http://www.boobooke.com/v/bbk1835
  下载地址:http://www.boobooke.com/v/bbk1835.zip
  开源性能测试工具Curl-Loader快速实战 (4)
  在线观看地址:http://www.boobooke.com/v/bbk1836
  curl-loader配置文件说明:
01

GENERAL SECTION

02
BATCH_NAME= 10K-clients #批处理名称
03
CLIENTS_NUM_MAX=10000 #虚拟客户端最大数量
04
CLIENTS_NUM_START=100 #虚拟客户端初始数量
05
CLIENTS_RAMPUP_INC=50 #虚拟客户端一次递增的数量
06
INTERFACE =eth0 #选择使工作的网卡
07
NETMASK=255.255.0.0 #子网掩码
08
IP_ADDR_MIN= 192.168.1.1 #模拟的ip开始地址段
09
IP_ADDR_MAX= 192.168.53.255 #模拟的ip结束地址段
10
CYCLES_NUM= -1 #每个客户执行的周期数不限
11
URLS_NUM= 1 #每个客户得到单个url
12
13

URLs SECTION

14
15
URL=http://localhost/index.html #待测目标的url
16
URL_SHORT_NAME="local-index" #这个名字是url的代名词将被出现在负载开始时的
17
REQUEST_TYPE=GET #请求类型
18
TIMER_URL_COMPLETION = 0 #url将使用http GET方法被提取且在时间上不受限制
19
TIMER_AFTER_URL_SLEEP = 0 #在完成一个url请求后进行下一个url请求的协议重定向的间隔时间
  运行curl-loader的基本命令为:
  curl-loader -f config.conf
  ,这个config.conf就是上面的配置文件具体的设置需要根据需要,我根据我的需求一开始把CLIENTS_NUM_MAX=设置为2000,CLIENTS_NUM_START为100,CLIENTS_RAMPUP_INC为50,意思就是说一开始的虚拟客户端就是100个,然后以每秒50个用户的速度递增一直达到最大值2000。
  因为是一开始运行测试,所以我没有设置的很大。为什么初始值不一开始就设置成2000呢,这个道理很简单,1,容易使被测的系统崩溃;2,不符合真实的环境;从这两方面考虑,所以要让压力的递增像一个爬坡的曲线慢慢的到到最大客户端值,也就是最大的压力然后保持一个稳定的范围,最后得到测试的参数再进行分析。在结束测试的时候我个人认为不用慢慢的递减压力,可以一下子把压力撤掉。
模拟的用户数量越多,占用的IP地址就越多,所以设置用户数量的时候要看IP_ADDR_MIN和IP_ADDR_MAX这两个参数间的IP个数是否满足,不满足的话要做适当的修改,可以大于等于,但不能小于,否则在运行
  #curl-loader -f config.conf
  的时候就会提示让修改配置文件参数的错误
  待测目标改成服务器端的IP地址即可,其他的暂时不用修改。
  在运行curl-loaderl之前最好要修改一下系统打开文件的最大值,因为用的是Linux系统而Linux系统默认可以打开最大的文件数为1024,所以要修改大点,一般要超过CLIENTS_NUM_MAX的值,修改命令为:
  #ulimit -n 10000
  注:后面的数值越大越好,最好是远远超过curl-loader虚拟的客户端数量;如果不修改就会出现the current limit of open descriptors for the shell (1024)类似的错误
  好了,终于不报错了,可以执行curl-loader运行命令了,没错,这样可以运行了,但还不是最好的状态,最好在加上一些运行的命令参数这样才能更大的发挥curl-loder的作用,也是测试结果更为准确
  下面就是各个参数的说明,是在官方网站找的,我全部按照自己的意思翻译了,这么简单的事情我Google,百度了半天竟然没有一个中文资源可以参考
  -c[onnection establishment timeout, seconds] :设置连接超时的时间
  -d[etailed logging; outputs to logfile headers and bodies of requests/responses. Good for text pages/files] :把header和bodies的反应等详细的情况输入到日志中。
  -e[rror drop client. Client on error doesn't attempt to process the next cycle] :如果虚拟客户端出现错误则在下一次的周期请求中不再尝试。
  -h[elp] :帮助
  -i[ntermediate (snapshot) statistics time interval (default 3 sec)] :设置最后一段状况的时间,默认是最后3秒。
  -f[ilename of configuration to run (batches of clients)] :设置想要加载的配置文件
  -l[ogfile max size in MB (default 1024). On the size reached, file pointer is rewinded(回滚) :设置日志文件的最大容量,默认是1024MB,当达到最大值时文件将会回滚覆盖从最旧的日期。
  -m[ode of loading, 0 - hyper (the default, epoll () based ), 1 - smooth (select () based)] :两种系统调用方式,epoll要优于select,但是也要测试为目的去选择。
  -r[euse connections disabled. Closes TCP-connections and re-open them. Try with and without]:不再重试继续连接,每次重试连接之前都会关闭之前的连接。防止连接缓存
  -t[hreads number. Use it for high loads and when running at SMP/multi-core HW] :用于高负载并且还是多核的cpu时,可以分配线程数。
  -v[erbose output to the logfiles; includes info about headers sent/received] :把headers的收发的详细情况输出到日志中。
  -u[rl logging - logs url names to logfile, when -v verbose option is used] :url日志,把url名字记录在日志文件中,当用-v选项时会被显示出来。
  -w[arnings skip] :跳过警告。
  可能有人觉得这么简单的英文直接自己看帮助或者man手册不就行了,太多的道理我也不想多说,我只想说翻译成中文这很重要!
  根据我的需求,首先-f指定配置文件,-l 10240MB增大日志文件,-m 0 选择epoll()调用方法这两种方法是在被测系统的内核里设置的所以这个选择最好要跟被测系统中的内核的选择一致这样才能测试的更准确,-r每次都是重新建立连接,-t 2 我安装curl-loader的机器是双核的这样可以更充分的利用系统资源使机器发挥出更大的作用,-u 记录url到日志中。所以我的curl-loader的运行命令就是:
  #curl-loader -f /home/user/10K/10K.conf -l 10240MB -m 0 -r -t 2 -u
  你会看到屏幕刷刷的翻动着,到后面会有一个最后三秒运行和总curr的状态
  如果想要结束测试ctrl+c就可以了
  下一篇我会写这些状态参数和结果的意义
  简单总结下我学习上面这些东西的过程:
  首先是在Google和百度上搜索中文资料,毕竟中文更易快速的理解,但是很失望,中文关于curl-loader的有价值的资料很少,大部分都是介绍怎么去安装,连配置文件的各个配置都没有一个能完全说明的,收获最多的就是看了网上流传的所谓的一个XX老师的教学视频,但是看到最后发现也不靠谱,curl-loader的测试结果里有个很重要的参数CAPS硬是给人胡说着解释出来了,当时就怀疑,随即到官网查看还真不是他说的那个意思,所以要怀疑一切所谓的权威,最好到官方的网站去找答案,即使是英文的。
  血汗泪的教训啊~,所以勇敢的站起来去大胆的怀疑权威,细心的去认证吧!
  还有,因为是刚开始写博客还搞不懂怎么把代码调成高亮显示,后面会改成高亮的那种

最新内容请见作者的GitHub页:http://qaseven.github.io/

登录 后评论
下一篇
云栖号资讯小编
5248人浏览
2020-07-13
相关推荐
性能测试工具Curl-Loader
717人浏览
2017-11-15 16:39:00
iOS GitHub Top 100 简介
1906人浏览
2016-03-13 11:20:00
最新C#开源资源项目
1538人浏览
2013-06-04 08:33:00
代码生成器集合
767人浏览
2009-01-04 17:40:00
C#开源系统大汇总
1466人浏览
2015-07-26 18:46:00
Loadrunner视频教程汇总
1163人浏览
2017-10-24 18:53:00
C#开源项目介绍
2216人浏览
2017-11-14 18:05:00
【编译打包】curl-loader.el6
609人浏览
2017-11-15 21:56:00
性能测试工具curl-loader(linux)
1204人浏览
2018-04-07 08:04:59
性能测试工具curl-loader(linux)
846人浏览
2018-03-09 12:24:00
0
0
0
2010