构建故障分析平台采用python实现抓包分析数据包

简介:

前言:

        同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎的运维杂事,他这边刚入职,貌似是带领一帮小弟解决别人搞不定的问题,但是有些业务部够单纯,把事直接抛给我同事这边。。。 很无敌吧。


所以计划做一个自动化平台,可以去问题端去抓数据,然后分析数据包,入库,邮件通知。   这个是自动化完成的。


我这里就说下,我的解决思路和开发思路:

工具:

pcap dpkt saltsatck mysql tornado tcpdump

pcap               是用来抓包

dpkt               是用来解析数据包的

celery              异步任务


实现两大功能,用户他自己抓包,然后上传到页面上,然后我后端解析后,返回结果。

用户在平台上提交问题服务器的ip,并选定测试类型,我这里会到服务端跑用python的pcap抓包并分析结果,把结果上报到平台。


更多内容,请关注下我的个人博客,blog.xiaorui.cc


关于自动抓包分析,以前和同事做过处理dns攻击的,方案流程和第三方的工具和我上述是一样的。

遇到攻击,会分析dns的攻击的特征,然后再黑洞系统注射特征码禁止。


需要注意的是,在抓数据的时候,可能会产生堵塞,尤其是pcap,dpkt这东西,需要在后台自己的玩。这个时候就需要用celery把抓包分析包的任务放在后台执行。 你要是觉得subprocess合理的话,也可以用用subprocess 的pipe的,但是个人觉得也是个办法 ,更简单的方法是用tcpdump -w 写到一个文件里面,然后用dpkt去解析,这样的话,也不用pcap去解析啦。




安装是相当的简单,不管是centos和ubuntu都已经有默认的源了,我这里用的是ubuntu的开发机跑测试:

1
2
3
4
apt- get  install python-libpcap
apt- get  install libpcap-dev
apt- get  install python-dpkt
pip install pypcap


原文:http://rfyiamcool.blog.51cto.com/1030776/1374484

下面是抓取http数据包的写法,大家可以慢慢取值,慢慢分拆数据。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#coding:utf- 8
import  pcap
import  dpkt
import  sys
aaa= 'a'
bbb= 'b'
pc=pcap.pcap()    #注,参数可为网卡名,如eth0
pc.setfilter( 'tcp port 80' )    #设置监听过滤器
for  ptime,pdata  in  pc:    #ptime为收到时间,pdata为收到数据
     p=dpkt.ethernet.Ethernet(pdata)
     if  p.data.__class__.__name__== 'IP' :
         ip= '%d.%d.%d.%d' %tuple(map(ord,list(p.data.dst)))
#        print ip
         if  p.data.data.__class__.__name__== 'TCP' :
             if  p.data.data.dport== 80 :
                 sStr1 = p.data.data.data
                 sStr2 =  'Host: '
                 sStr3 =  'Connection'
                 sStr4 =  'GET /'
                 sStr5 =  ' HTTP/1.1'
                 nPos = sStr1.find(sStr3)
                 nPosa = sStr1.find(sStr5)
                 for  in  range(sStr1.find(sStr2)+ 6 ,nPos- 1 ):
                     aaa=sStr1[sStr1.find(sStr2)+ 6 :n]
                 for  in  range(sStr1.find(sStr4)+ 4 ,nPosa+ 1 ):
                     bbb=sStr1[sStr1.find(sStr4)+ 4 :n]
                 ccc=aaa+bbb
                 print ccc



wKiom1MgdWTAQvUhAAZy0kZJ1mU315.jpg

用wireshark瞅瞅:

wKiom1MgfnejrxTcAAV6QvLVjJk276.jpg

原文:http://rfyiamcool.blog.51cto.com/1030776/1374484

我前两天在做lvs操作平台的时候,额外加了一个针对vrrp的分析数据模块,大家可以举一反三在改改!


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#coding:utf- 8
#xiaorui.cc
#http: //rfyiamcool.blog.51cto.com/
import  pcap
import  dpkt
import  binascii
import  struct
a=pcap.pcap()
a.setfilter( 'vrrp' )   # 可以是 'tcp'  'udp'  'port 80' 等过滤用的
for  i,j  in  a:
     tem=dpkt.ethernet.Ethernet(j)
     print ( "11111%s %x" ,i,tem)
     src= '%d.%d.%d.%d'  % tuple(map(ord,list(tem.data.src)))
     dst= '%d.%d.%d.%d'  % tuple(map(ord,list(tem.data.dst)))
     print tem.data.tos
     print tem.data.sum
     print tem.data.len
     print tem.data.ttl
     print tem.data.id
#    print tem.data.data
     print tem.data.data.priority
     print src
     print dst


wKioL1MgdvjS2-R1AAbu-kg218M276.jpg


wKioL1MgfbSBvvZqAAY17azTPjc454.jpg


通过获取的数据,可以得知对端的vrrp情况,比如tos src dst vrrp主信息 !



好了,就这样了,过段时间再看看同事进行的如何,要是有新发现,给分享给大家的。





 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1374484,如需转载请自行联系原作者


相关文章
|
5天前
|
数据处理 Python
如何使用Python的Pandas库进行数据排序和排名
【4月更文挑战第22天】Pandas Python库提供数据排序和排名功能。使用`sort_values()`按列进行升序或降序排序,如`df.sort_values(by='A', ascending=False)`。`rank()`函数用于计算排名,如`df['A'].rank(ascending=False)`。多列操作可传入列名列表,如`df.sort_values(by=['A', 'B'], ascending=[True, False])`和分别对'A'、'B'列排名。
14 2
|
3天前
|
机器学习/深度学习 数据挖掘 网络架构
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
15 0
|
4天前
|
机器学习/深度学习 算法 数据挖掘
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-2
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
28 1
|
3天前
|
机器学习/深度学习 算法 算法框架/工具
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
24 0
|
1天前
|
机器学习/深度学习 存储 监控
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
|
1天前
|
机器学习/深度学习 数据采集 算法
Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|数据分享
Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|数据分享
Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|数据分享
|
1天前
|
JSON 数据可视化 定位技术
python_将包含汉字的字典数据写入json(将datav的全省数据中的贵州区域数据取出来)
python_将包含汉字的字典数据写入json(将datav的全省数据中的贵州区域数据取出来)
6 0
|
3天前
|
机器学习/深度学习 算法 vr&ar
PYTHON用时变马尔可夫区制转换(MARKOV REGIME SWITCHING)自回归模型分析经济时间序列
PYTHON用时变马尔可夫区制转换(MARKOV REGIME SWITCHING)自回归模型分析经济时间序列
15 4
|
3天前
|
机器学习/深度学习 算法 Python
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户
23 4
|
3天前
|
API vr&ar Python
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列(上)
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列
30 5