按计划报废

Question

让 Scrapy 按计划运行让我在 Twist(ed) 中四处奔波。

我认为下面的测试代码会起作用，但是当蜘蛛被第二次触发时，我得到一个twisted.internet.error.ReactorNotRestartable 错误：

from quotesbot.spiders.quotes import QuotesSpider
import schedule
import time
from scrapy.crawler import CrawlerProcess

def run_spider_script():
    process.crawl(QuotesSpider)
    process.start()


process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
})


schedule.every(5).seconds.do(run_spider_script)

while True:
    schedule.run_pending()
    time.sleep(1)

我猜想，作为 CrawlerProcess 的一部分，Twisted Reactor 会被调用以重新启动，而这不是必需的，因此程序会崩溃。有什么办法可以控制吗？

此外，在这个阶段，如果有另一种方法可以使 Scrapy 蜘蛛按计划自动运行，我会全力以赴。我试过 scrapy.cmdline.execute ，但也无法让它循环：

from quotesbot.spiders.quotes import QuotesSpider
from scrapy import cmdline
import schedule
import time
from scrapy.crawler import CrawlerProcess


def run_spider_cmd():
    print("Running spider")
    cmdline.execute("scrapy crawl quotes".split())


process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
})


schedule.every(5).seconds.do(run_spider_cmd)

while True:
    schedule.run_pending()
    time.sleep(1)

编辑

添加代码，它使用 Twisted task.LoopingCall() 每隔几秒运行一次测试蜘蛛。我是否完全错误地安排每天在同一时间运行的蜘蛛？

from twisted.internet import reactor
from twisted.internet import task
from scrapy.crawler import CrawlerRunner
import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):

        quotes = response.xpath('//div[@class="quote"]')

        for quote in quotes:

            author = quote.xpath('.//small[@class="author"]/text()').extract_first()
            text = quote.xpath('.//span[@class="text"]/text()').extract_first()

            print(author, text)


def run_crawl():

    runner = CrawlerRunner()
    runner.crawl(QuotesSpider)


l = task.LoopingCall(run_crawl)
l.start(3)

reactor.run()

Answer 1

第一个值得注意的声明，通常只有 一个 Twisted reactor 正在运行并且它不可重新启动（正如您所发现的）。第二个是应避免阻塞任务/功能（即time.sleep(n)），并应替换为异步替代方案（例如'reactor.task.deferLater(n,...)`）。

要在 Twisted 项目中有效地使用 Scrapy，需要 scrapy.crawler.CrawlerRunner 核心 API，而不是 scrapy.crawler.CrawlerProcess。两者的主要区别在于 CrawlerProcess 为您运行 Twisted 的 reactor（因此很难重新启动反应器），而 CrawlerRunner 依赖于开发人员来启动反应器。以下是您的代码使用CrawlerRunner 后的样子：

from twisted.internet import reactor
from quotesbot.spiders.quotes import QuotesSpider
from scrapy.crawler import CrawlerRunner

def run_crawl():
    """
    Run a spider within Twisted. Once it completes,
    wait 5 seconds and run another spider.
    """
    runner = CrawlerRunner({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        })
    deferred = runner.crawl(QuotesSpider)
    # you can use reactor.callLater or task.deferLater to schedule a function
    deferred.addCallback(reactor.callLater, 5, run_crawl)
    return deferred

run_crawl()
reactor.run()   # you have to run the reactor yourself

Answer 2

你可以使用apscheduler

pip install apscheduler

# -*- coding: utf-8 -*-
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from apscheduler.schedulers.twisted import TwistedScheduler

from Demo.spiders.baidu import YourSpider

process = CrawlerProcess(get_project_settings())
scheduler = TwistedScheduler()
scheduler.add_job(process.crawl, 'interval', args=[YourSpider], seconds=10)
scheduler.start()
process.start(False)