Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

简介: 原文转载自:http://www.cnblogs.com/HelloPython/ 根据Scrapy安装指南(http://doc.


原文转载自http://www.cnblogs.com/HelloPython/


根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intro/install.html)

Don’t use the python-scrapy package provided by Ubuntu, they are typically too old and slow to catch up with latest Scrapy.

Instead, use the official Ubuntu Packages, which already solve all dependencies for you and are continuously updated with the latest bug fixes.

进入这个页面(http://doc.scrapy.org/en/latest/topics/ubuntu.html#topics-ubuntu)


第一步: 为了安装这个packages,在ubuntu下运行 lsb_release -cs,显示

              

第二步: 现在需要做的就是用vi添加 deb http://archive.scrapy.org/ubuntu precise main 到 /etc/apt/sources.list中去

              

第三步: 然后运行 curl -s http://archive.scrapy.org/ubuntu/archive.key | sudo apt-key add - 

第四步:再更新源 sudo apt-get update

第五步:最后安装  sudo apt-get install scrapy-0.1X,可选择不同版本,我安装的是0.16

             


目录
打赏
0
0
0
0
15
分享
相关文章
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
127 0
分布式爬虫框架Scrapy-Redis实战指南
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
278 6
Scrapy爬虫框架-通过Cookies模拟自动登录
Scrapy爬虫框架-通过Cookies模拟自动登录
232 0
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
259 4
|
8月前
|
Python脚本监控Ubuntu系统进程内存的实现方式
通过这种方法,我们可以很容易地监控Ubuntu系统中进程的内存使用情况,对于性能分析和资源管理具有很大的帮助。这只是 `psutil`库功能的冰山一角,`psutil`还能够提供更多关于系统和进程的详细信息,强烈推荐进一步探索这个强大的库。
102 1
Scrapy 爬虫框架的基本使用
Scrapy 爬虫框架的基本使用
230 3
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等