为多个网站使用一个 Scrapy 蜘蛛答案

【问题标题】：Using one Scrapy spider for several websites为多个网站使用一个 Scrapy 蜘蛛
【发布时间】：2011-01-24 16:31:46
【问题描述】：

我需要创建一个用户可配置的网络蜘蛛/爬虫，我正在考虑使用 Scrapy。但是，我不能硬编码域和允许的 URL regex:es - 这将可以在 GUI 中进行配置。

我如何（尽可能简单）使用 Scrapy 创建一个蜘蛛或一组蜘蛛，其中域和允许的 URL regex:es 是动态可配置的？例如。我将配置写入文件，蜘蛛会以某种方式读取它。

【问题讨论】：

@Christian Davén：你的问题的答案不能接受吗？

标签： python web-crawler scrapy

【解决方案1】：

警告：此答案适用于 Scrapy v0.7，从那时起蜘蛛管理器 api 发生了很大变化。

覆盖默认 SpiderManager 类，从数据库或其他地方加载您的自定义规则，并使用您自己的规则/正则表达式和域名来实例化自定义蜘蛛

在 mybot/settings.py 中：

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在 mybot/spidermanager.py 中：

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):
    loaded = True

    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass

    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在是你的自定义蜘蛛类，在 mybot/spider.py 中：

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes

     def parse(self, response):
         ...

注意事项：

如果您想利用其规则系统，您也可以扩展 CrawlSpider
要运行蜘蛛，请使用：./scrapy-ctl.py crawl <name>，其中name 被传递给 SpiderManager.fromdomain，是从后端系统获取更多蜘蛛信息的关键
由于解决方案覆盖了默认的 SpiderManager，编码一个经典的蜘蛛（每个 SPIDER 的一个 python 模块）是行不通的，但是，我认为这对你来说不是问题。有关默认蜘蛛管理器的更多信息TwistedPluginSpiderManager

【讨论】：

与 Alex Martelli 方法的不同之处在于，蜘蛛是按需实例化的，而不是预先实例化所有蜘蛛只是为了使用一个。这种方法可以减少后端的负载和scrapy bot进程的内存占用。
我如何指定每个自定义蜘蛛的设置（ITEM_PIPELINES、USER_AGENT 等）？你还提到./scrapy-ctl.py crawl <name>。 scrapy-ctl.py 是什么？

【解决方案2】：

您需要动态创建蜘蛛类，将scrapy 提供的您最喜欢的通用蜘蛛类子类化（CrawlSpider 子类添加您的rules，或XmlFeedSpider，或其他）并添加domain_name ，start_urls，可能还有extra_domain_names（和/或start_requests()等），当您从您的GUI（或配置文件，或其他）中获取或推断它们时。

Python 使得执行类对象的这种动态创建变得容易；一个非常简单的例子可能是：

from scrapy import spider

def makespider(domain_name, start_urls,
               basecls=spider.BaseSpider):
  return type(domain_name + 'Spider',
              (basecls,),
              {'domain_name': domain_name,
               'start_urls': start_urls})

allspiders = []
for domain, urls in listofdomainurlpairs:
  allspiders.append(makespider(domain, urls))

这为您提供了一个非常简单的蜘蛛类列表——您可能希望在实例化它们之前向它们添加parse 方法。调味……；-)。

【讨论】：

这段代码会在哪里？我试图将爬虫类动态添加到我的蜘蛛模块中，但scrapy 没有拾取它们。

【解决方案3】：

domo 上的无耻自我宣传！您需要为您的项目实例化示例中给出的爬虫。

您还需要使爬虫在运行时可配置，这只是将配置传递给爬虫，并在配置更改时覆盖运行时的设置。

【讨论】：

【解决方案4】：

现在为这些目的配置scrapy非常容易：

关于第一个访问的url，你可以将它作为属性传递给蜘蛛调用-a，并使用start_requests函数来设置如何启动蜘蛛
您不需要为蜘蛛设置allowed_domains 变量。如果您不包含该类变量，蜘蛛将能够允许每个域。

结果应该是这样的：

class MySpider(Spider):

    name = "myspider"

    def start_requests(self):
        yield Request(self.start_url, callback=self.parse)


    def parse(self, response):
        ...

你应该这样称呼它：

scrapy crawl myspider -a start_url="http://example.com"

【讨论】：