一个监控脚本带来的Python实践和学习

工作中经常要和服务器、数据库这些打交道，有些小功能例如：服务监控、数据监控等用java往往无处下手，即使能做也要花费很长的时间，身边好几个同事都会Python，面对这些需求他们往往优先选择Python来实现，又快又省事。所以我也计划着自学一下Python，寻思着买一本入门的书来参考，在豆瓣上挑来挑去最后挑了《Head first Python》这本。买来后断断续续看了好几章了，对Python也有了一些基本的了解，不过一直没真正上手。

废话太多，直接步入正题，昨天领导让我写个脚本来实时监控某个服务的日志，监控日志中报出的用户购买超时的现象，如果某个node累计超时次数达到10次则通过邮件和短信告警。

需求就是上面说的这样，虽然Python用的还不熟练，不过当下也没其它好的方式来实现，没办法，赶鸭子上架，现学现用，如果碰到不会的就借助于万能的互联网吧

一、Python调用shell

首先考虑实现的方式，由于领导要求实时监控，所以当前想到的方式就是使用linux shell的tail命令扫描服务日志，然后再使用关键字来grep，根据grep出来的日志内容进行分析。这时候碰到了第一个问题，如何在Python中执行linux shell命令呢？

没办法，上网求助，网上有人推荐使用os.system，不过大部分都推荐使用subprocess模块来实现，通过官方文档说明，我决定使用subprocess

官方给出的文档里有这么一段话：

翻译过来的意思大致就是：subprocess模块允许你新建子进程，可以连接到进程的输入、输出、异常通道，并且可以获取到子进程的返回值，这个模块是Python用来替代一些其它过时的模块和功能的。

所以说，官方推荐使用subprocess来实现类似的功能。

要使用subprocess，首先必须import该模块

Python代码  

1. import subprocess  

要调用shell命令，subprocess有很多方式，比如call、Popen等，这里我们使用Popen

首先看一个最简单的实例：

Python代码  

1. subprocess.Popen('ls -l',stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)  

上面的代码构建了一个Popen对象，Popen的构造函数格式如下：

Python代码  

1. subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)  

参数args可以是字符串或者序列类型（如：list，元组），用于指定进程的可执行文件及其参数。如果是序列类型，第一个元素通常是可执行文件的路径。

参数stdin, stdout, stderr分别表示程序的标准输入、输出、错误句柄。他们可以是PIPE，文件描述符或文件对象，也可以设置为None，表示从父进程继承。

如果参数shell设为true，程序将通过shell来执行。

关于其它具体的参数的说明，参见官方文档：http://docs.python.org/2/library/subprocess.html#popen-constructor

不想看英文的可以看网上的另一篇博客：http://blog.csdn.net/wuwangyingzhong/article/details/6002055

我的代码逻辑如下：

Python代码  

1. #日志文件目录和名称  
2. filename = '/home/project/logs/xxx.log'  
3. #要执行的shell命令  
4. command='tail -f '+filename+'|grep "timeout"'  
5. popen=subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)  
6. while True:  
7.     #获取当前grep出来的日志文本行  
8.     line=popen.stdout.readline().strip()  
9.     #对日志文本进行分析（这里省略）  

二、Python发送http请求

上面已经提到，告警的方式为邮件和短信，我们的短信推送接口是一个http接口，所以如果需要短信告警，则需要通过python来请求该http接口。python中一共有urllib、urllib2、httplib、httplib2支持发送http请求，由于服务器上没有安装python的httplib和httplib2模块，所以只能使用urllib,urllib2

使用GET请求来请求短信推送接口，可以把参数写在url中，如果使用POST方式来请求接口，则数据必须放在data或者body中，不能放在url中，放在url中将被忽略。

附上一个通过urllib,urllib2发送GET请求的示例：

Python代码  

1. import urllib,urllib2  
2.   
3.   
4. def main():  
5.     url="http://www.baidu.com/s?wd=douban"  
6.     req = urllib2.Request(url)  
7.     print req  
8.   
9.     res_data = urllib2.urlopen(req)  
10.     res = res_data.read()  
11.     print res  
12.   
13. if __name__ == '__main__':  
14.     main()  

关于python对http请求的操作，可以参见博客：http://blog.163.com/xychenbaihu@yeah/blog/static/132229655201231085444250/

三、脚本进程和子进程的退出

发现了2个问题：

问题1：在上面的代码中，python调用的shell tail命令作用是实时监控当前的日志，而服务是24小时不间断的，该python脚本也一直同步执行，所以只能使用nohup方式后台启动。每次要关闭该脚本，手动通过进程pid来kill。带来了一个新的问题，每次kill掉python主进程时，主进程执行时启动的Popen子进程未关闭，由于调试时曾经连续启动->kill->启动->kill多次，导致系统中出现了一大堆tail日志的进程，这是我原来没有预料到的。

问题2：我们的日志是生成的dailyRolling日志，文件名称为：xxx_dailyRolling.log，每天的0点会自动重命名为xxx_dailyRolling.logyyyyMMdd,yyyyMMdd代表前一天的日期，例如xxx_dailyRolling.log20131023，如果tail -f xxx_dailyRolling.log命令一直执行，到0点时会中断，所以我还需要在每天0点前停止当前的python脚本，然后在第二天0点后定时启动此python脚本

综上，2个问题一起解决，在0点前停止python脚本前先kill掉Popen子进程，然后再停止就OK了。

我的思路时每天设置一个固定的时间点，例如就定为每天的23:30:00（因为我们的服务在凌晨时基本上没人使用，监控的目的主要是为了监控白天高峰期时的服务情况,所以23:30到0点这段时间即使没监控也不影响），然后在Popen子进程执行时判断当前时刻是否到了23:30:00，如果已经到了，则终止子进程。通过实践证明，如果Popen子进程终止了，如果python主进程里没有挂起的其余子进程在执行，则主进程也会终止。

Popen可以通过terminate()或者kill()函数来终止当前的子进程。在执行了terminate()后，如果不想立即终止，可以通过wait()或poll()函数来等待子进程执行结束，关于各函数的使用，具体参考官方文档。

各函数说明如下：

附上一个示例：

Python代码  

1. #程序执行终止时间为当前时刻延迟15秒  
2. stoptime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()+15))  
3.   
4. def main():  
5.     popen=subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)  
6.     pid=popen.pid  
7.     print('Popen.pid:'+str(pid))  
8.     while True:  
9.         line=popen.stdout.readline().strip()  
10.         print(line)  
11.         #当前时间  
12.         thistime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))  
13.         if thistime>=stoptime:  
14.             #终止子进程  
15.             popen.terminate()  
16.             #等待子进程终止后跳出while循环  
17.             if subprocess.Popen.poll(popen) is not None:  
18.                 break  
19.             else:  
20.                 print('waiting for subprocess.Popen terminate()')  
21.     print('DONE')  
22.   
23. if __name__ == '__main__':  
24.     main()  

四、Python2.x和3.x版本的区别（部分）

Python在2.x和3.x之间有一些特性区别比较大，由于我本地是安装的最新的3.2.2版本，而服务器上还是2.6.x，所以在编写调试时遇到了一些，也拿出来说说说：

区别1.print函数

在python 2.x版本中，同时支持print(xxx)和print xxx，示例：

Python代码  

1. >>> name='chenzhou'  
2. >>> print name  
3. chenzhou  
4. >>> print(name)          
5. chenzhou  
6. >>>   

在python 3.x版本中，只支持print(xxx)的方式，示例：

Python代码  

1. >>> name='chenzhou'  
2. >>> print(name)  
3. chenzhou  
4. >>> print name  
5. SyntaxError: invalid syntax  
6. >>>   

区别2.判断字典中的key是否存在

在python 2.x中，可以使用has_key(key)函数，也可以判断 key in xxxMap.keys()，示例：

Python代码  

1. >>> users={'name':'chenzhou','age':'24','address':'Beijing'}  
2. >>> print users.has_key('name')  
3. True  
4. >>> print 'name' in users.keys()  
5. True  
6. >>> print users.has_key('score')  
7. False  
8. >>> print 'score' not in users.keys()  
9. True  
10. >>>   

在python 3.x中，只支持key in xxxMap.keys() 示例：

Python代码  

1. >>> users={'name':'chenzhou','age':'24','address':'Beijing'}  
2. >>> print('name' in users.keys())  
3. True  
4. >>> print('score' in users.keys())  
5. False  
6. >>> print(users.has_key('name'))  
7. Traceback (most recent call last):  
8.   File "<pyshell#20>", line 1, in <module>  
9.     print(users.has_key('name'))  
10. AttributeError: 'dict' object has no attribute 'has_key'  
11. >>>   

五、Python UnicodeDecodeError

脚本写完后在linux下执行时报错：

Shell代码  

1. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe8 in position 0: ordinal not in range(128)  

网友给出的原因是windows系统下编辑的文件在linux下编码转换出现的问题，具体解决方法如下：

Python代码  

1. #引入sys模块  
2. import sys  
3. #加入下面两行代码  
4. reload(sys)  
5. sys.setdefaultencoding('utf-8')  

其它：

在grep关键字时用到了正则表达式，推荐一篇关于Python正则表达式的好博