shell脚本如何监控程序占用带宽?

简介:


众所周知,使用iftop能监控所有程序占用的网络带宽,一般情况下,手动执行iftop就可查看。但现在需要使用脚本来监控程序占用的带宽,遇到的问题真不是一点半点,现记录如下,希望能给其它运维人带来更多的帮助。


中途所遇到的难点:

1.iftop把结果重定向到文本中,是图形格式的。

重定向到文本中的内容,全部是一行,根本无法用脚本取值。最开始我使用python读取这个文件,得到所有特殊符号,找到规律,然后使用sed替换成规范的格式。终于在自己测试机上完成,能展示出正常的格式。当放到线上机器时,特殊符号变了又变成乱糟糟的了。网上找了很久的资料,终于找到了解决方法:iftop 1.0-pre之后的版本都能输出文本格式,之前用的是iftop 0.7版本。当晚心里有种流泪的感觉,弄了一天,结果有简单现成的方法。。。


2.一个程序不仅仅只使用一个端口。

  原以为程序仅仅监听一个端口进行通信,后来询问研发得知,当这个程序是服务端的时候,端口是固定的;当这个程序主动访问外面的时候,端口是随机的。所以要想监控的准确,必须找到这个程序打开的所有端口。解决方法是:用netstat所这个程序的所有端口找出来。


3.iftop输出的流量单位不一样,且没有调整一致的命令。

单位不一样,里面有Mb,Kb,b单位,需要进行换算。我的解决方法是:把Mb替换成*1000,Kb替换成空,把b直接不要过滤掉。最后用bc一算直接得结果。


wKioL1NzkHfAk4YzAAL8FIXqbyA454.jpg



4.程序发送占用带宽好算,接收带宽不好算。

  根据第2步找到的几个端口,过滤出发送出去的流量一加就可以。但是接收的怎么算?见上边图中第一条流量,有"<="的则为接收流量,"<="这些行都是未知的IP与端口,怎么把它过滤出来得出结果??我的解决方法是:把"=>"行和"<="放两个临时文件中,图中有"=>"的行第一列都有序号,那么全部是"<="行的都和它一一对应,如:发送"=>"中的是序号121315。那么"<="文件中的第121315行就是对应的接收流量。。是不是理解了?


5.shell脚本代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#!/bin/sh
#author:yangrong
#mail:10286460@qq.com
#date:2014-05-14
file_name= "test.txt"
temp_file1= "liuliang.txt"
temp_file2= "liuliang2.txt"
iftop  -Pp -Nn -t -L 100 -s 1 >$temp_file1
pragrom_list=(VueDaemon VueCenter VueAgent VueCache VueSERVER VUEConnector Myswitch Slirpvde)
#pragrom_list=(VueSERVER VueCenter)
>$file_name
for  in  ${pragrom_list[@]}
do
         port_list=` netstat  -plnt| grep  $i| awk  '{print $4}' | awk  -F:  '{print $2}' `
         port_all= ""
         for  port  in  $port_list
         do
                 port_all= "${port}|${port_all}"
                 port_all=` echo  $port_all| sed  's/\(.*\)|$/\1/g' `
         done
         if  [[ $port_all ==  ""  ]]; then
                 echo  "${i}sendflow=0"  >> $file_name
                 echo  "${i}receiveflow=0"  >> $file_name
                 continue
         fi
         send_flow=` cat  $temp_file1 | grep  -E  "${port_all}" | grep  -E  'Mb|Kb' | grep  '=>' | awk  '{print $4}' |\
         tr  '\n'  '+'  | sed  -e s /Mb/ *1000 /g  | sed  s /Kb//g  | sed   's/\(.*\)+$/\1\n/g' | bc `
         #echo "cat liuliang.txt |grep -E "${port_all}"|grep -E 'Mb|Kb'|grep '=>'|awk '{print $4}'|\
         #tr '\n' '+' |sed -e s/Mb/*1000/g |sed s/Kb//g |sed  's/\(.*\)+$/\1\n/g'|bc"
         if  [[ ${send_flow} ==  ""  ]]; then
                 send_flow=0
         fi
         send_num=` cat  $temp_file1 | grep  -E  "${port_all}" | grep  "=>" | awk  '{print $1}' `
         echo  ""  > $temp_file2
         for  num  in  $send_num
         do
           cat  $temp_file1 | grep   '<=' | sed  -n ${num}p| grep  -E  'Mb|Kb'  >>$temp_file2
         done
         receive_flow=` cat  $temp_file2 | grep  -E  'Mb|Kb' | awk  '{print $4}' |\
         tr  '\n'  '+'  | sed  -e s /Mb/ *1000 /g  | sed  s /Kb//g  | sed   's/\(.*\)+$/\1\n/g' | bc `
         if  [[ $receive_flow ==  ""  ]]; then
                 receive_flow=0
         fi
         echo  "${i}sendflow=${send_flow}"  >>$file_name
         echo  "${i}receiveflow=${receive_flow}"  >>$file_name
done



6.shell脚本执行效果

脚本中定义的进程列表为:pragrom_list=(VueDaemonVueCenter VueAgent VueCache VueSERVER VUEConnector Myswitch Slirpvde)

执行脚本的输出单位是Kb

wKioL1NzkHiDVYQtAAIVY8-h-SU791.jpg


7.附:iftop命令用法

[root@center230 python]# iftop --help

iftop: unknown option --

iftop: display bandwidth usage on aninterface by host


Synopsis: iftop -h | [-npblNBP] [-iinterface] [-f filter code]

                              [-F net/mask][-G net6/mask6]


 -h                  display thismessage #帮助信息

 -n                  don't do hostname lookups  #禁用主机解析,即不会出现IP显示域名

 -N                  don't convertport numbers to services #以数字为示端口号,如21端口不会显示成ftp

 -p                  run inpromiscuous mode (show traffic between other

                      hosts on the samenetwork segment)

 -b                  don't displaya bar graph of traffic   #b单位显示

 -B                  Displaybandwidth in bytes    #B单位显示

  -iinterface        listen on namedinterface   #指定监听的网口

  -ffilter code      use filter code toselect packets to count    

                      (default: none, but onlyIP packets are counted)

  -Fnet/mask         show traffic flowsin/out of IPv4 network  #显示指定Ipv4段流量

  -Gnet6/mask6       show traffic flowsin/out of IPv6 network  #显示指定Ipv6段流量

 -l                  display andcount link-local IPv6 traffic (default: off) #显示Ipv6的流量

 -P                  show ports aswell as hosts  #显示端口信息

  -mlimit            sets the upper limit forthe bandwidth scale  

  -cconfig file      specifies an alternativeconfiguration file

 -t                  use textinterface without ncurses #使用文本模式输出


 Sorting orders:

  -o2s                Sort by first column(2s traffic average) #2s平均流量列排序

  -o10s               Sort by second column(10s traffic average) [default] #10s平均流量列排序

  -o40s               Sort by third column(40s traffic average) #50s平均流量列排序

  -osource            Sort by source address #按源IP列排序

  -odestination       Sort by destinationaddress #按目的IP列排序


 The following options are only available in combination with -t

  -snum              print one single textoutput afer num seconds, then quit #指定刷新几次。

  -Lnum              number of lines to print #显示多少行数据。当程序多流量大时,则要显示行数多些才行。


iftop, version 1.0pre4  #版本信息。


文本输出方法:

iftop -Pp -Nn -t -L 100 -s 1 >temp_file

直接查看输iftop 即可。


iftop详细用法见网上文档。

http://www.vpser.net/manage/iftop.html



总结:

1、先尽可能的寻找已有方法。

2、基本功要杂实,对sed,awk,grep等命令要熟练使用。

3、思路要灵活多变,不能被一种方法束缚死。




     本文转自杨云1028 51CTO博客,原文链接:http://blog.51cto.com/yangrong/1411346,如需转载请自行联系原作者





目录
打赏
0
0
0
0
347
分享
相关文章
|
3月前
|
一个用于添加/删除定时任务的shell脚本
一个用于添加/删除定时任务的shell脚本
139 1
6种方法打造出色的Shell脚本
6种方法打造出色的Shell脚本
85 2
6种方法打造出色的Shell脚本
|
2月前
|
Shell脚本要点和难点以及具体应用和优缺点介绍
Shell脚本在系统管理和自动化任务中扮演着重要角色。尽管存在调试困难、可读性差等问题,但其简洁高效、易于学习和强大的功能使其在许多场景中不可或缺。通过掌握Shell脚本的基本语法、常用命令和函数,并了解其优缺点,开发者可以编写出高效的脚本来完成各种任务,提高工作效率。希望本文能为您在Shell脚本编写和应用中提供有价值的参考和指导。
102 1
ubuntu/debian shell 脚本自动配置 gitea git 仓库
这是一个自动配置 Gitea Git 仓库的 Shell 脚本,支持 Ubuntu 20+ 和 Debian 12+ 系统。脚本会创建必要的目录、下载并安装 Gitea,创建 Gitea 用户和服务,确保 Gitea 在系统启动时自动运行。用户可以选择从官方或小绿叶技术博客下载安装包。
102 2
ip和ip网段攻击拦截系统-绿叶结界防火墙系统shell脚本
这是一个名为“小绿叶技术博客扫段攻击拦截系统”的Bash脚本,用于监控和拦截TCP攻击。通过抓取网络数据包监控可疑IP,并利用iptables和firewalld防火墙规则对这些IP进行拦截。同时,该系统能够查询数据库中的白名单,确保合法IP不受影响。此外,它还具备日志记录功能,以便于后续分析和审计。
78 6
深入理解Linux系统下的Shell脚本编程
【10月更文挑战第24天】本文将深入浅出地介绍Linux系统中Shell脚本的基础知识和实用技巧,帮助读者从零开始学习编写Shell脚本。通过本文的学习,你将能够掌握Shell脚本的基本语法、变量使用、流程控制以及函数定义等核心概念,并学会如何将这些知识应用于实际问题解决中。文章还将展示几个实用的Shell脚本例子,以加深对知识点的理解和应用。无论你是运维人员还是软件开发者,这篇文章都将为你提供强大的Linux自动化工具。
|
3月前
|
shell脚本编程学习
【10月更文挑战第1天】shell脚本编程
96 12
自动化运维:使用Shell脚本简化日常任务
【9月更文挑战第35天】在IT运维的日常工作中,重复性的任务往往消耗大量的时间。本文将介绍如何通过编写简单的Shell脚本来自动化这些日常任务,从而提升效率。我们将一起探索Shell脚本的基础语法,并通过实际案例展示如何应用这些知识来创建有用的自动化工具。无论你是新手还是有一定经验的运维人员,这篇文章都会为你提供新的视角和技巧,让你的工作更加轻松。
120 2
shell脚本变量 name{name}啥区别
shell脚本变量 name{name}啥区别
常用的 55 个 Linux Shell 脚本(包括基础案例、文件操作、实用工具、图形化、sed、gawk)
这篇文章提供了55个常用的Linux Shell脚本实例,涵盖基础案例、文件操作、实用工具、图形化界面及sed、gawk的使用。
906 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等