系统基础信息采集模块作为监控模块的重要组成部分，能够帮助运维人员了解当前系统的健康程度，同时也是衡量业务的服务质量的依据，比如系统资源吃紧，会直接影响业务的服务质量及用户体验，另外获取设备的流量信息，也可以让运维人员更好地评估带宽、设备资源是否应该扩容。运用Python第三方系统基础模块，可以轻松获取服务关键运营指标数据，包括Linux基本性能、块设备、网卡接口、系统信息、网络地址库等信息。在采集到这些数据后，我们就可以全方位了解系统服务的状态，再结合告警机制，可以在第一时间响应，将异常现在苗头时就得以处理。

psutil模块

psutil是一个跨平台库（http://code.google.com/p/psutil/），能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要应用于系统监控，分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能，如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的Linux、Windows、OS X、FreeBSD和Sun Solaris等操作系统，支持从2.4到3.4的Python版本。

一、获取系统性能信息

采集系统基本性能信息

系统基本信息主要包含CPU、内存、磁盘、网络等，可以很好的描述服务器资源使用情况，对于我们运维人员分析资源使用等有重要作用。psutil模块已经封装了这些方法，可以根据我们的需求完成调用和实际应用。

(1)CPU信息

Linux操作系统CPU利用率有以下几个部分

Usertime  执行用户进程的时间百分比：

Systemtime 执行内核进程和中断的时间百分比：

Wait IO 由于IO等待而使CPU处于idle(空闲)状态的时间百分比；

Idle  CPU处于idle状态的时间百分比

Linux Shell命令获取以上信息

1
2
3
4
5
6
# top
top  - 15:33:04 up 85 days, 11:44,  2  users ,  load average: 0.00, 0.01, 0.00
Tasks: 205 total,   1 running, 204 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.3%sy,  0.0%ni, 98.9% id ,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16330912k total, 16150528k used,   180384k  free ,   238244k buffers
Swap:        0k total,        0k used,        0k  free ,  2133688k cached

python psutil模块实现

1
2
3
4
5
>>>  import   psutil
>>> cputime=psutil.cpu_times()
>>> cpuinfo=psutil.cpu_times()
>>> print(cputime)
scputimes(user=27.52,  nice =0.13, system=38.22, idle=27505.43, iowait=82.71, irq=0.0, softirq=1.17, steal=0.0, guest=0.0, guest_nice=0.0)

很简单的就可以得到我们想要的数据，输出结果是一个元组我们可以使用切片得到具体的值。

1
2
3
4
5
6
7
8
9
10
11
12
>>> print(cputime[0])  #得到用户的值
27.52
>>> print(cputime[2])   #系统值
38.22
>>>
 
或者以下方式
>>> print(cpuinfo.user)
28.31
>>> print(cpuinfo.system)
40.19
>>>

获取CPU数量

psutil.cpu_count()  #逻辑个数
psutil.cpu_count(logical=False) #物理个数

1
2
3
4
>>> psutil.cpu_count()
1
>>> psutil.cpu_count(logical=False)
1

内存信息

    Linux系统的内存利用率信息涉及total（内存总数）、used（已使用的内存数）、free（空闲内存数）、buffers（缓冲使用数）、cache（缓存使用数）、swap（交换分区使用数）等，分别使用
psutil.virtual_memory（）与psutil.swap_memory（）方法获取这些信息。

获取完整信息

psutil.virtual_memory()

结果

1
2
3
4
5
6
7
8
svmem(total = 461918208 , available = 107016192 , percent = 76.8 , used = 335712256 , free = 10584064 , active = 132857856 , inactive = 206520320 , buffers = 0 , cached = 115621888 , shared = 6508544 )
要是想获取其中的某一个可以使用以下方式
>>> psutil.virtual_memory().free
10395648
>>> psutil.virtual_memory().used
335880192
>>> psutil.virtual_memory().total
461918208

Swap参数获取

1
2
psutil.swap_memory()
sswap(total = 2147479552 , used = 274354176 , free = 1873125376 , percent = 12.8 , sin = 21311488 , sout = 298082304 )
1
2
3
4
5
6
7
8
获取单个值
>>> psutil.swap_memory().total
2147479552
>>> psutil.swap_memory().used
274354176
>>> psutil.swap_memory().free
1873125376
>>>

磁盘信息

在系统的所有磁盘信息中，我们更加关注磁盘的利用率及IO信息，其中磁盘利用率使psutil.disk_usage()方法获取。磁盘IO信息包括read_count（读IO数）、write_count（写IO数）、read_bytes（IO读字节数）、write_bytes（IO写字节数）、read_time（磁盘读时间）、write_time（磁盘写时间）等。这些IO信息可以使用psutil.disk_io_counters（）获取

例如

1
2
3
4
5
6
7
8
9
10
11
12
13
psutil.disk_partitions()   #获取磁盘所有信息
[sdiskpart(device = '/dev/mapper/cl-root' , mountpoint = '/' , fstype = 'xfs' , opts = 'rw,relatime,attr2,inode64,noquota' ), sdiskpart(device = '/dev/sda1' , 
mountpoint = '/boot' , fstype = 'xfs' , opts = 'rw,relatime,attr2,inode64,noquota' )]
 
psutil.disk_usage( "/dev/sda1" )
sdiskusage(total = 219918336 , used = 0 , free = 219918336 , percent = 0.0 )
>>> psutil.disk_usage( "/dev/sda1" )
sdiskusage(total = 219918336 , used = 0 , free = 219918336 , percent = 0.0 )
注意：psutil.disk_usage需要参数例如 "/dev/sda1" 分区信息，就能得到该分区的使用情况
 
psutil.disk_io_counters()
sdiskio(read_count = 48990 , write_count = 85420 , read_bytes = 2731183616 , write_bytes = 950151168 , read_time = 938874 , 
write_time = 13787272 , read_merged_count = 4479 , write_merged_count = 73400 , busy_time = 259691 )

网络信息

系统的网络信息与磁盘IO类似，涉及几个关键点，包括bytes_sent（发送字节数）、bytes_recv=28220119（接收字节数）、packets_sent=200978（发送数据包数）、packets_recv=212672（接收数据包数）等。这些网络信息使用psutil.net_io_counters（）方法获取


使用psutil.net_io_counters获取网络总的IO信息 默认pernic=False，

1
2
snetio(bytes_sent=6328062, bytes_recv=19216785, packets_sent=12474, packets_recv=23414, 
errin=0, errout=0, dropin=0, dropout=0)

当pernic=Ture时可以获取每个网卡的流量信息

1
2
3
  psutil.net_io_counters(pernic=True)
  { 'ens33' : snetio(bytes_sent=6262442, bytes_recv=19205069,packets_sent=12333, packets_recv=23271, errin=0, errout=0, dropin=0, dropout=0), 
  'lo' : snetio(bytes_sent=6588,bytes_recv=6588, packets_sent=76, packets_recv=76, errin=0, errout=0, dropin=0, dropout=0)}

用户信息与开机时间等信息

使用psutil.users方法返回当前登录系统的用户信息

1
2
3
4
psutil. users ()
[suser(name= 'root' , terminal= 'tty1' , host= '' , started=1491535104.0), suser(name= 'root' , terminal= 'pts/0' , host= '192.168.186.1' , started=1491535104.0), 
suser(name= 'root' , terminal= 'pts/1' , host= '192.168.186.1' , started=1491543808.0), suser(name= 'root' , terminal= 'pts/2' , host= '192.168.186.1' , started=1492674560.0), 
suser(name= 'root' , terminal= 'pts/3' , host= '192.168.186.1' , started=1492676992.0)]

使用psutil.boot_time方法获取开机时间，以Linux时间戳格

1
2
>>> psutil.boot_time()
1492648101.0

进程管理

获得当前系统的进程信息，可以让运维人员得知应用程序的运行状态，包括进程的启动时间、查看或设置CPU亲和度、内存使用率、IO信息、socket连接、线程数等，这些信息可以呈现出指定进程是否存活、资源利用情况，为开发人员的代码优化、问题定位提供很好的数据参考。

进程信息

psutil模块在获取进程信息方面也提供了很好的支持，包括使用psutil.pids（）方法获取所有进程PID，使用psutil.Process（）方法获取单个进程的名称、路径、状态、系统资源利用率等信息。

1
2
3
4
5
6
psutil.pids()   #获取目前所有运行进程的id
[1, 2, 3, 4, 6, 7, 8, 9, 10, 12, 13, 14, 15, 16, 17, 18, 19, 25, 26, 27, 28, 36, 38, 39, 41, 60, 92, 270, 271, 273, 
282, 283, 284, 287, 288, 290, 293, 365, 366, 377, 378, 391, 392, 393, 394, 395, 
396, 397, 398, 399, 400, 468, 486, 493, 732, 776, 777, 778, 782, 783, 786, 788, 790, 912, 
978, 980, 982, 992, 993, 994, 997, 1009, 1012, 1018, 1330, 1332, 1372, 1469, 1965, 2706, 
2722, 2724, 2798, 3516, 4218, 4259, 4261, 4343, 4370, 4479, 4507, 4508, 4531]

我们可以使用进程ID和 psutil.Process()方法将某个进程实例化，这样就能得到更多的信息例如我们将ID为270实例化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
  mn=psutil.Process(270)
>>> mn.name()   #进程名称
'ata_sff'
>>> mn.exe()      #进程bin路径
''
>>> mn.status()  #进程状态
'sleeping'
>>> mn.cwd()  #进程的绝对路径
'/'
mn.create_time()  #进程创建时间 返回时间戳
1492648102.1
>>> mn.uids()  #进程uid信息
puids(real=0, effective=0, saved=0)
>>> mn.gids()   #进程gid信息
pgids(real=0, effective=0, saved=0)
>>> mn.cpu_times()  #进程CPU时间信息，包括user、system两个CPU时间
pcputimes(user=0.0, system=0.0, children_user=0.0, children_system=0.0)
>>> 
>>> mn.memory_percent()  #进程内存使用率
0.0
>>> mn.memory_info()  #进程内存rss、vms信息
pmem(rss=0, vms=0, shared=0, text=0, lib=0, data=0, dirty=0
>>> mn.io_counters() # 进程IO信息，包括读写IO数及字节数  
pio(read_count=0, write_count=0, read_bytes=0, write_bytes=0, read_chars=0, write_chars=0)
>>> mn.connections()  #回打开进程socket的namedutples列表，包括fs、family、laddr等信息
[]
>>> mn.num_threads() #进程启动的线程数量
1
>>>