在前几周的grep/sed/awk实战中提到,“和CoreSite - Any2 California接入商建立网络BGP邻居关系。从peeringdb上找到了所有接入商的信息,但是转移信息到本地不是很方便,需要进行多次文本调整,耗时较长。作为萌新,立马就想到近期学习的grep/sed/awk工具。于是就尝试处理数据。”因为当时是刚学习了linux正则的这三个工具,就立马利用了起来,权当练手。在文末也曾提到所有的操作其实都可以通过python完成。
恰巧近几天,又学习了python抓取页面提取信息的一些知识。因此,就同样的内容,再次以python的方式去处理。
▎元素样本:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
<
div
class
=
"row item"
>
<
div
class
=
"col-xs-5 col-sm-5 col-md-5"
>
<
div
class
=
"peer"
data-sort-value
=
"zenlayer inc"
data-filter-value
=
"Zenlayer Inc"
>
<
a
href
=
"/net/1234"
>Zenlayer Inc</
a
>
</
div
>
<
div
class
=
"asn"
data-sort-value
=
"21859"
data-filter-value
=
"21859"
>21859</
div
>
</
div
>
<
div
class
=
"col-xs-4 col-sm-4 col-md-4"
>
<
div
class
=
"ip4"
data-filter-value
=
"206.72.210.119"
>206.72.210.119</
div
>
<
div
class
=
"ip6"
data-filter-value
=
"None"
>None</
div
>
</
div
>
<
div
class
=
"col-xs-3 col-sm-3 col-md-3"
>
<
div
class
=
"speed"
data-sort-value
=
"20000"
data-filter-value
=
"20G"
>20G</
div
>
<
div
class
=
"policy"
data-filter-value
=
"Open"
>Open</
div
>
</
div
>
</
div
>
|
▎处理思路:
▎简易版脚本:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
#/usr/bin/env python
import
requests,bs4
headers
=
{
'User-Agent'
:
'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0'
}
url
=
'https://www.peeringdb.com/ix/142'
peering
=
requests.get(url,headers
=
headers)
peering.raise_for_status()
peers
=
bs4.BeautifulSoup(peering.text[:],
'html.parser'
)
elemPeer
=
peers.select(
'.peer a'
)
elemASN
=
peers.select(
'.asn'
)
elemIP4
=
peers.select(
'.ip4'
)
elemSpeed
=
peers.select(
'.speed'
)
elemPolicy
=
peers.select(
'.policy'
)
if
__name__
=
=
'__main__'
:
for
i
in
range
(
len
(elemPeer)):
print
(elemPeer[i].getText()
+
'*'
+
elemASN[i].getText()
+
'*'
+
elemIP4[i].getText()
+
'*'
+
elemSpeed[i].getText()
+
'*'
+
elemPolicy[i].getText())
|
作为简易版,这里没有做任何的异常处理,也没有对各个元素的list进行长度比较。这部分在后期可以考虑加上。代码相关的解释参见学习笔记,主要运用了requests和BeautifulSoup两个模块。需要解释的是,elemPeer这个变量在处理的时候,因为“class="peer"”内还有一行“<a href="/net/1234">Zenlayer Inc</a>”,因此还需要加上“a”元素精确定位抓取。
▎运行效果:
由于测试系统为CentOS 7,不支持Excel,因此这里不使用openpyxl模块导入EXCEL文件里这个功能。暂时改为手动处理。
阅读者如有兴趣,可优化代码,并深入处理,如:登录网站、爬虫每个接入商的页面,提取其他信息等。
对比此文和前次利用grep/sed/awk处理的两种方式,可以发现python版的处理方式更为简洁,人工处理的部分更少。由此,可以看到python在处理大数据信息上的优势。
本文转自Grodd51CTO博客,原文链接:http://blog.51cto.com/juispan/1952178,如需转载请自行联系原作者