当我们在scrapy中写了几个爬虫程序之后，他们是怎么被检索出来的，又是怎么被加载的？这就涉及到爬虫加载的API，今天我们就来分享爬虫加载过程及其自定义加载程序。
SpiderLoader API
该ＡＰＩ是爬虫实例化ＡＰＩ，主要实现一个类SpiderLoader
class scrapy.loader.SpiderLoader
该类负责检索和处理项目中定义的spider类。
可以通过在SPIDER_LOADER_CLASS项目设置中指定其路径来使用自定义爬虫装载程序，但是自定义加载程序必须完全实现scrapy.interfaces.ISpiderLoader接口以保证无错执行。
该类具备下列方法
from_settings（settings）
Scrapy使用此类方法来创建类的实例。使用当前项目配置，加载在SPIDER_MODULES 设置模块中递归发现的爬虫，在一般是创建项目时候生成的setting文件中类似['demo1.spiders']
参数： settings（Settings实例） - 项目配置文件
@classmethod
def from_settings(cls, settings):
return cls(settings)
load（spider_name ）
获取具有给定名称的Spider类。它将查看以前加载的名为spider_name的爬虫类的爬虫，如果找不到则会引发KeyError。
参数： spider_name（str） - 爬虫类名
def load(self, spider_name):
"""
Return the Spider class for the given spider name. If the spider
name is not found, raise a KeyError.
"""
try:
return self._spiders[spider_name]
except KeyError:
raise KeyError("Spider not found: {}".format(spider_name))
list（）
获取项目中可用蜘蛛的名称。
def list(self):
"""
Return a list with the names of all spiders available in the project.
"""
return list(self._spiders.keys())
find_by_request（request）
列出可以处理给定请求的爬虫名称。将尝试将请求的URL与爬虫的域匹配。
参数： request（Requestinstance） - 查询请求
def find_by_request(self, request):
"""
Return the list of spider names that can handle the given request.
"""
return [name for name, cls in self._spiders.items()
if cls.handles_request(request)]
完整源码：
-
# -*- coding: utf-8 -*-
from __future__ import absolute_import
from collections import defaultdict
import traceback
import warnings
from zope.interface import implementer
from scrapy.interfaces import ISpiderLoader
from scrapy.utils.misc import walk_modules
from scrapy.utils.spider import iter_spider_classes
@implementer(ISpiderLoader)
class SpiderLoader(object):
"""
SpiderLoader is a class which locates and loads spiders
in a Scrapy project.
"""
def __init__(self, settings):
self.spider_modules = settings.getlist('SPIDER_MODULES')
self.warn_only = settings.getbool('SPIDER_LOADER_WARN_ONLY')
self._spiders = {}
self._found = defaultdict(list)
self._load_all_spiders()
def _check_name_duplicates(self):
dupes = ["\n".join(" {cls} named {name!r} (in {module})".format(
module=mod, cls=cls, name=name)
for (mod, cls) in locations)
for name, locations in self._found.items()
if len(locations)>1]
if dupes:
msg = ("There are several spiders with the same name:\n\n"
"{}\n\n This can cause unexpected behavior.".format(
"\n\n".join(dupes)))
warnings.warn(msg, UserWarning)
def _load_spiders(self, module):
for spcls in iter_spider_classes(module):
self._found[spcls.name].append((module.__name__, spcls.__name__))
self._spiders[spcls.name] = spcls
def _load_all_spiders(self):
for name in self.spider_modules:
try:
for module in walk_modules(name):
self._load_spiders(module)
except ImportError as e:
if self.warn_only:
msg = ("\n{tb}Could not load spiders from module '{modname}'. "
"See above traceback for details.".format(
modname=name, tb=traceback.format_exc()))
warnings.warn(msg, RuntimeWarning)
else:
raise
self._check_name_duplicates()
@classmethod
def from_settings(cls, settings):
return cls(settings)
def load(self, spider_name):
"""
Return the Spider class for the given spider name. If the spider
name is not found, raise a KeyError.
"""
try:
return self._spiders[spider_name]
except KeyError:
raise KeyError("Spider not found: {}".format(spider_name))
def find_by_request(self, request):
"""
Return the list of spider names that can handle the given request.
"""
return [name for name, cls in self._spiders.items()
if cls.handles_request(request)]
def list(self):
"""
Return a list with the names of all spiders available in the project.
"""
return list(self._spiders.keys()) -
-
配置自定义加载类
在setting文件中配置SPIDER_LOADER_CLASS
默认： 'scrapy.spiderloader.SpiderLoader'将用于加载蜘蛛的类，必须实现 SpiderLoader API。
该API的作用是搜寻项目中定义的多个爬虫程序，并提供相关的操作方法，包括加载、查询指定爬虫、判断请求对应的爬虫等功能，一般情况下不需要自己写加载程序，而是内部实现。
