Scrapy爬虫（7）在Windows中安装及使用Scrapy-阿里云开发者社区

Scrapy爬虫（7）在Windows中安装及使用Scrapy

2018-03-15 1693

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 本次分享将介绍Scrapy在Windows系统中的安装以及使用，主要解决的问题有：在Windows中安装Scrapy模块在IDE（PyCharm）中使用ScrapyScrapy导出的csv文件乱码首先介绍如何在Windows中安装Scrapy模块。

本次分享将介绍Scrapy在Windows系统中的安装以及使用，主要解决的问题有：

在Windows中安装Scrapy模块
在IDE（PyCharm）中使用Scrapy
Scrapy导出的csv文件乱码

首先介绍如何在Windows中安装Scrapy模块。
在https://www.lfd.uci.edu/~gohlke/pythonlibs/网站中下载适合自己Python版本和Windows位数的Twisted模块（Scrapy模块依赖于它）及Scrapy模块，然后放在Python安装目录下的Scripts文件加下，用pip install方式安装。
模块安装完毕，输入’scrapy -h’, 输出信息如下则表示Scrapy安装成功。

为了能随时随地地使用Scrapy, 需要将Scrapy添加到Windons系统的环境变量中，具体过程不再详述。
添加到环境变量后再重启电脑，就能随时创建Scrapy项目了，至此，我们以成功地在Windows中安装了Scrapy，并能随时创建Scrapy项目。

接着讲述如何在PyCharm中使用Scrapy.
在cmd中输入’scrapy startproject bookSpider’创建bookSpider项目，再在PyCharm中将其导入，文件结构如下：

我们将完成完成与Scrapy爬虫（5）爬取当当网图书畅销榜中的项目一样的功能，只不过，这一次是在Windows的PyCharm中进行。
在settings.py中设置“ROBOTSTXT_OBEY = False”. 修改items.py，代码如下：

import scrapy

class BookspiderItem(scrapy.Item):
    rank = scrapy.Field()
    name = scrapy.Field()
    author = scrapy.Field()
    press = scrapy.Field()
    price = scrapy.Field()
    comments = scrapy.Field()

然后，在spiders文件夹下新建BookSpider.py，代码如下：

import scrapy
import scrapy.cmdline
from scrapy.selector import Selector
from bookSpider.items import BookspiderItem

class bookSpider(scrapy.Spider):
    name = 'bookScrapy'
    start_urls = ['http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-%d'%i for i in range(1,26)]

    def parse(self, response):
        item = BookspiderItem()
        sel = Selector(response)

        book_list = response.css('ul.bang_list.clearfix.bang_list_mode').xpath('li')

        for book in book_list:
            item['rank'] = book.css('div.list_num').xpath('text()').extract_first()
            item['name'] = book.css('div.name').xpath('a/text()').extract_first()
            item['author'] = book.css('div.publisher_info')[0].xpath('a/text()').extract_first()
            item['press'] = book.css('div.publisher_info')[1].xpath('a/text()').extract_first()
            item['price'] = book.css('span.price_n').xpath('text()').extract_first()
            item['comments'] = book.css('div.star').xpath('a/text()').extract_first()

            yield item

def main():
    scrapy.cmdline.execute(['scrapy', 'crawl', 'bookScrapy', '-o', 'dangdangBook.csv', '-t', 'csv'])

main()