聚能聊

luneice

人生苦短,我用Python做爬虫。Python非常好用的一个爬虫框架scrapy,对于静态网页来说爬取起来十分简单,对于动态网站来说就不那么容易了,通常会用到其他中间件,使用selenium和无UI浏览器进行爬取。原本是用来做自动化测试的工具,强行被拉来爬取动态网站。
能够写爬虫的语言确实很多的,Java JavaScript 甚至是C/C++。各有各的特点,但是对于大型的分布式爬虫系统来说,Java和Python是最终要考虑的语言了,相比之下Python在写爬虫时有一些比较好的优势,开发效率更高,所以Python就被拿来整爬虫了。

已获得 阿里云代金券

评论(0)