Python rrdtool模块与网卡流量绘制脚本(转载)

简介: rrdtool(round robin database)工具为环状数据库的存储格式,round robin是一种处理定量数据以及当前元素指针的技术。rrdtool主要用来跟踪对象的变化情况,生成这些变化的走势图,比如业务的访问流量、系统性能、磁盘利用率等趋势图,很多流行监控平台都使用到rrdtool,比较有名的为Cacti、Ganglia、Monitorix等。

rrdtool(round robin database)工具为环状数据库的存储格式,round robin是一种处理定量数据以及当前元素指针的技术。rrdtool主要用来跟踪对象的变化情况,生成这些变化的走势图,比如业务的访问流量、系统性能、磁盘利用率等趋势图,很多流行监控平台都使用到rrdtool,比较有名的为Cacti、Ganglia、Monitorix等。更多rrdtool介绍见官网http://oss.oetiker.ch/rrdtool/。rrdtool是一个复杂的工具,涉及较多参数概念,本节主要通过Python的rrdtool模块对rrdtool的几个常用方法进行封装,包括create、fetch、graph、info、update等方法,本节对rrdtool的基本知识不展开说明,重点放在Python rrdtool模块的常用方法使用介绍上。

rrdtool模块的安装方法如下:

  1. easy_install python-rrdtool #pip安装方法

  2. pip install python-rrdtool #easy_install安装方法

  3. 需要rrdtool工具及其他类包支持,CentOS环境推荐使用yum安装方法

  4. yum install rrdtool-python

3.2.1 rrdtool模块常用方法说明

下面介绍rrdtool模块常用的几个方法,包括create(创建rrd)、update(更新rrd)、graph(绘图)、fetch(查询rrd)等。

1. Create方法

create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法,创建一个后缀为rrd的rrdtool数据库,参数说明如下:

filename创建的rrdtool数据库文件名,默认后缀为.rrd;

--start指定rrdtool第一条记录的起始时间,必须是timestamp的格式;

--step指定rrdtool每隔多长时间就收到一个值,默认为5分钟;

DS用于定义数据源,用于存放脚本的结果的变量;

DST用于定义数据源类型,rrdtool支持COUNTER(递增类型)、DERIVE(可递增可递减类型)、ABSOLUTE(假定前一个时间间隔的值为0,再计算平均值)、GUAGE(收到值后直接存入RRA)、COMPUTE(定义一个表达式,引用DS并自动计算出某个值)5种,比如网卡流量属于计数器型,应该选择COUNTER;

RRA用于指定数据如何存放,我们可以把一个RRA看成一个表,保存不同间隔的统计结果数据,为CF做数据合并提供依据,定义格式为:[RRA:CF:xff:steps:rows];

CF统计合并数据,支持AVERAGE(平均值)、MAX(最大值)、MIN(最小值)、LAST(最新值)4种方式。

2. update方法

update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法,存储一个新值到rrdtool数据库,updatev和update类似,区别是每次插入后会返回一个状态码,以便了解是否成功(updatev用0表示成功,–1表示失败)。参数说明如下:

filename指定存储数据到的目标rrd文件名;

-t ds-name[:ds-name]指定需要更新的DS名称;

N|Timestamp表示数据采集的时间戳,N表示当前时间戳;

value[:value...]更新的数据值,多个DS则多个值。

3. graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法,根据指定的rrdtool数据库进行绘图,关键参数说明如下:

filename指定输出图像的文件名,默认是PNG格式;

--start指定起始时间;

--end指定结束时间;

--x-grid控制X轴网格线刻度、标签的位置;

--y-grid控制Y轴网格线刻度、标签的位置;

--vertical-label指定Y轴的说明文字;

--width pixels指定图表宽度(像素);

--height pixels指定图表高度(像素);

--imgformat指定图像格式(GIF|PNG|GD);

--background指定图像背景颜色,支持#rrggbb表示法;

--upper-limit指定Y轴数据值上限;

--lower-limit指定Y轴数据值下限;

--no-legend取消图表下方的图例;

--rigid严格按照upper-limit与lower-limit来绘制;

--title图表顶部的标题;

DEF:vname=rrd:ds-name:CF指定绘图用到的数据源;

CDEF:vname=rpn-expression合并多个值;

GPRINT:vname:CF:format图表的下方输出最大值、最小值、平均值等;

COMMENT:text指定图表中输出的一些字符串;

HRULE:value#rrggbb用于在图表上面绘制水平线;

VRULE:time#rrggbb用于在图表上面绘制垂直线;

LINE{1|2|3}:vname使用线条来绘制数据图表,{1|2|3}表示线条的粗细;

AREA:vname使用面积图来绘制数据图表。

4. fetch方法

fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法,根据指定的rrdtool数据库进行查询,关键参数说明如下:

filename指定要查询的rrd文件名;

CF包括AVERAGE、MAX、MIN、LAST,要求必须是建库时RRA中定义的类型,否则会报错;

--start --end指定查询记录的开始与结束时间,选项的值必是 timestamp 的格式,默认可省略。

获取当前时间的时间戳:date +%s

3.2.2 实践:实现网卡流量图表绘制

  在日常运营工作当中,观察数据的变化趋势有利于了解我们的服务质量,比如在系统监控方面,网络流量趋势图直接展现了当前网络的吞吐。 CPU、内存、磁盘空间利用率趋势则反映了服务器运行健康状态。通过这些数据图表管理员可以提前做好应急预案,对可能存在的风险点做好防范。本次实践通过rrdtool模块实现服务器网卡流量趋势图的绘制,即先通过create方法创建一个rrd数据库,再通过update方法实现数据的写入,最后可以通过graph方法实现图表的绘制,以及提供last、first、info、fetch方法的查询。图3-12为rrd创建到输出图表的过程。
img_3d24be80a133c881ea0dfabaa0dea56d.jpe
image

第一步 采用create方法创建rrd数据库,参数指定了一个rrd文件、更新频率setp、起始时间--start、数据源DS、数据源类型DST、数据周期定义RRA等,详细源码如下:

【/root/xls/create.py】

img_51e409b11aa51c150090697429a953ed.gif
复制代码

<pre style="white-space: pre-wrap; word-wrap: break-word; margin-top: 0px; margin-bottom: 0px; font-family: "Courier New" !important;"> 1 # -- coding: utf-8 --
2 #!/usr/bin/python
3 import rrdtool 4 import time 5
6 cur_time=str(int(time.time())) #获取当前Linux时间戳作为rrd起始时间
7 #数据写频率--step为300秒(即5分钟一个数据点)
8 rrd=rrdtool.create('Flow.rrd','--step','300','--start',cur_time,
9 #定义数据源eth1_in(入流量)、eth1_out(出流量);类型都为COUNTER(递增);600秒为心跳值,
10 #其含义是600秒没有收到值,则会用UNKNOWN代替;0为最小值;最大值用U代替,表示不确定
11 'DS:eth1_in:COUNTER:600:0:U', 12 'DS:eth1_out:COUNTER:600:0:U', 13
14 #RRA定义格式为[RRA:CF:xff:steps:rows],CF定义了AVERAGE、MAX、MIN三种数据合并方式
15 #xff定义为0.5,表示一个CDP中的PDP值如超过一半值为UNKNOWN,则该CDP的值就被标为UNKNOWN
16 #下列前4个RRA的定义说明如下,其他定义与AVERAGE方式相似,区别是存最大值与最小值
17 # 每隔5分钟(1300秒)存一次数据的平均值,存600笔,即2.08天
18 # 每隔30分钟(6
300秒)存一次数据的平均值,存700笔,即14.58天(2周)
19 # 每隔2小时(24300秒)存一次数据的平均值,存775笔,即64.58天(2个月)
20 # 每隔24小时(288
300秒)存一次数据的平均值,存797笔,即797天(2年)
21 'RRA:AVERAGE:0.5:1:600', 22 'RRA:AVERAGE:0.5:6:700', 23 'RRA:AVERAGE:0.5:24:775', 24 'RRA:AVERAGE:0.5:288:797', 25 'RRA:MAX:0.5:1:600', 26 'RRA:MAX:0.5:6:700', 27 'RRA:MAX:0.5:24:775', 28 'RRA:MAX:0.5:444:797', 29 'RRA:MIN:0.5:1:600', 30 'RRA:MIN:0.5:6:700', 31 'RRA:MIN:0.5:24:775', 32 'RRA:MIN:0.5:444:797') 33 if rrd: 34 print rrdtool.error()</pre>

img_51e409b11aa51c150090697429a953ed.gif
复制代码

第二步 采用updatev方法更新rrd数据库,参数指定了当前的Linux时间戳,以及指定eth1_in、eth1_out值(当前网卡的出入流量),网卡流量我们通过psutil模块来获取,如psutil.network_io_counters()[1]为入流量,关于psutil模块的介绍见第1.1。详细源码如下:

【/root/xls/update.py】

img_51e409b11aa51c150090697429a953ed.gif
复制代码

<pre style="white-space: pre-wrap; word-wrap: break-word; margin-top: 0px; margin-bottom: 0px; font-family: "Courier New" !important;"> 1 # -- coding: utf-8 --
2 #!/usr/bin/python
3 import rrdtool 4 import time,psutil 5
6 total_input_traffic = psutil.network_io_counters()[1] #获取网卡入流量
7 total_output_traffic = psutil.network_io_counters()[0] #获取网卡出流量
8 starttime=int(time.time()) #获取当前Linux时间戳
9 #将获取到的三个数据作为updatev的参数,返回{'return_value': 0L}则说明更新成功,反之失败
10 update=rrdtool.updatev('/root/xls/Flow.rrd','%s:%s:%s' % (str(starttime),str(total_input_traffic),str(total_output_traffic))) 11 print update</pre>

img_51e409b11aa51c150090697429a953ed.gif
复制代码

将代码加入crontab,并配置5分钟作为采集频率,crontab配置如下:

*/5 * * * * /usr/bin/python /root/xls/update.py > /dev/null 2>&1

第三步 采用graph方法绘制图表,此示例中关键参数使用了--x-grid定义X轴网格刻度;DEF指定数据源;使用CDEF合并数据;HRULE绘制水平线(告警线);GPRINT输出最大值、最小值、平均值等。详细源码如下:

【/root/xls/graph.py】

img_51e409b11aa51c150090697429a953ed.gif
复制代码

<pre style="white-space: pre-wrap; word-wrap: break-word; margin-top: 0px; margin-bottom: 0px; font-family: "Courier New" !important;"> 1 # -- coding: utf-8 --
2 #!/usr/bin/python
3 import rrdtool 4 import time 5 #定义图表上方大标题
6 title="Server network traffic flow ("+time.strftime('%Y-%m-%d',time.localtime(time.time()))+")"
7 #重点解释"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"参数的作用(从左往右进行分解)
8 "MINUTE:12" #表示控制每隔12分钟放置一根次要格线
9 "HOUR:1" #表示控制每隔1小时放置一根主要格线
10 "HOUR:1" # 表示控制1个小时输出一个label标签
11 "0:%H" #0表示数字对齐格线,%H表示标签以小时显示
12 rrdtool.graph( "Flow.png", "--start", "-1d","--vertical-label=Bytes/s", 13 "--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H", 14 "--width","650","--height","230","--title",title, 15 "DEF:inoctets=Flow.rrd:eth1_in:AVERAGE", #指定网卡入流量数据源DS及CF
16 "DEF:outoctets=Flow.rrd:eth1_out:AVERAGE", #指定网卡出流量数据源DS及CF
17 "CDEF:total=inoctets,outoctets,+", #通过CDEF合并网卡出入流量,得出总流量total
18
19 "LINE1:total#FF8833:Total traffic", #以线条方式绘制总流量
20 "AREA:inoctets#00FF00:In traffic", #以面积方式绘制入流量
21 "LINE1:outoctets#0000FF:Out traffic", #以线条方式绘制出流量
22 "HRULE:6144#FF0000:Alarm value\r", #绘制水平线,作为告警线,阈值为6.1k
23 "CDEF:inbits=inoctets,8,", #将入流量换算成bit,即8,计算结果给inbits
24 "CDEF:outbits=outoctets,8,", #将出流量换算成bit,即8,计算结果给outbits
25 "COMMENT:\r", #在网格下方输出一个换行符
26 "COMMENT:\r", 27 "GPRINT:inbits:AVERAGE:Avg In traffic: %6.2lf %Sbps", #绘制入流量平均值
28 "COMMENT: ", 29 "GPRINT:inbits:MAX:Max In traffic: %6.2lf %Sbps", #绘制入流量最大值
30 "COMMENT: ", 31 "GPRINT:inbits:MIN:MIN In traffic: %6.2lf %Sbps\r", #绘制入流量最小值
32 "COMMENT: ", 33 "GPRINT:outbits:AVERAGE:Avg Out traffic: %6.2lf %Sbps", #绘制出流量平均值
34 "COMMENT: ", 35 "GPRINT:outbits:MAX:Max Out traffic: %6.2lf %Sbps", #绘制出流量最大值
36 "COMMENT: ", 37 "GPRINT:outbits:MIN:MIN Out traffic: %6.2lf %Sbps\r") #绘制出流量最小值</pre>

img_51e409b11aa51c150090697429a953ed.gif
复制代码

以上代码将生成一个Flow.png文件,如图3-13所示。

查看rrd文件内容有利于观察数据的结构、更新等情况,rrdtool提供几个常用命令:

info查看rrd文件的结构信息,如rrdtool info Flow.rrd;

first查看rrd文件第一个数据的更新时间,如rrdtool first Flow.rrd;

last查看rrd文件最近一次更新的时间,如rrdtool last Flow.rrd;

fetch根据指定时间、CF查询rrd文件,如rrdtool fetch Flow.rrd AVERAGE (必须为大写)

img_42e0426c930b7036206841d7de2b8cb8.jpe
image
目录
相关文章
|
17天前
|
存储 开发者 Python
Python中的collections模块与UserDict:用户自定义字典详解
【4月更文挑战第2天】在Python中,`collections.UserDict`是用于创建自定义字典行为的基类,它提供了一个可扩展的接口。通过继承`UserDict`,可以轻松添加或修改字典功能,如在`__init__`和`__setitem__`等方法中插入自定义逻辑。使用`UserDict`有助于保持代码可读性和可维护性,而不是直接继承内置的`dict`。例如,可以创建一个`LoggingDict`类,在设置键值对时记录操作。这样,开发者可以根据具体需求定制字典行为,同时保持对字典内部管理的抽象。
|
3天前
|
Python
python学习14-模块与包
python学习14-模块与包
|
5天前
|
SQL 关系型数据库 数据库
Python中SQLite数据库操作详解:利用sqlite3模块
【4月更文挑战第13天】在Python编程中,SQLite数据库是一个轻量级的关系型数据库管理系统,它包含在一个单一的文件内,不需要一个单独的服务器进程或操作系统级别的配置。由于其简单易用和高效性,SQLite经常作为应用程序的本地数据库解决方案。Python的内置sqlite3模块提供了与SQLite数据库交互的接口,使得在Python中操作SQLite数据库变得非常容易。
|
9天前
|
JSON 测试技术 持续交付
自动化测试与脚本编写:Python实践指南
【4月更文挑战第9天】本文探讨了Python在自动化测试中的应用,强调其作为热门选择的原因。Python拥有丰富的测试框架(如unittest、pytest、nose)以支持自动化测试,简化测试用例的编写与维护。示例展示了使用unittest进行单元测试的基本步骤。此外,Python还适用于集成测试、系统测试等,提供模拟外部系统行为的工具。在脚本编写实践中,Python的灵活语法和强大库(如os、shutil、sqlite3、json)助力执行复杂测试任务。同时,Python支持并发、分布式执行及与Jenkins、Travis CI等持续集成工具的集成,提升测试效率和质量。
|
10天前
|
索引 Python
「Python系列」Python operator模块、math模块
Python的`operator`模块提供了一系列内置的操作符函数,这些函数对应于Python语言中的内建操作符。使用`operator`模块可以使代码更加清晰和易读,同时也能提高性能,因为它通常比使用Python内建操作符更快。
27 0
|
14天前
|
数据采集 网络协议 API
python中其他网络相关的模块和库简介
【4月更文挑战第4天】Python网络编程有多个流行模块和库,如requests提供简洁的HTTP客户端API,支持多种HTTP方法和自动处理复杂功能;Scrapy是高效的网络爬虫框架,适用于数据挖掘和自动化测试;aiohttp基于asyncio的异步HTTP库,用于构建高性能Web应用;Twisted是事件驱动的网络引擎,支持多种协议和异步编程;Flask和Django分别是轻量级和全栈Web框架,方便构建不同规模的Web应用。这些工具使网络编程更简单和高效。
|
16天前
|
存储 监控 异构计算
【Python】GPU内存监控脚本
【Python】GPU内存监控脚本
|
16天前
|
Ubuntu Unix Linux
【Linux/Ubuntu】Linux/Ubuntu运行python脚本
【Linux/Ubuntu】Linux/Ubuntu运行python脚本
|
8天前
|
安全 Java 数据处理
Python网络编程基础(Socket编程)多线程/多进程服务器编程
【4月更文挑战第11天】在网络编程中,随着客户端数量的增加,服务器的处理能力成为了一个重要的考量因素。为了处理多个客户端的并发请求,我们通常需要采用多线程或多进程的方式。在本章中,我们将探讨多线程/多进程服务器编程的概念,并通过一个多线程服务器的示例来演示其实现。
|
8天前
|
程序员 开发者 Python
Python网络编程基础(Socket编程) 错误处理和异常处理的最佳实践
【4月更文挑战第11天】在网络编程中,错误处理和异常管理不仅是为了程序的健壮性,也是为了提供清晰的用户反馈以及优雅的故障恢复。在前面的章节中,我们讨论了如何使用`try-except`语句来处理网络错误。现在,我们将深入探讨错误处理和异常处理的最佳实践。

热门文章

最新文章