信号仅在主线程中有效

Question

我是 django 的新手。我正在尝试通过 django 视图运行我的爬虫蜘蛛。当我通过命令提示符运行时，我的 scrapy 代码运行良好。但是当我尝试在 django 上运行它时它失败了。 错误信息：信号仅在主线程中有效。

我在 django 视图中的代码（如下）

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.crawler import CrawlerProcess
from scrapy import log, signals
from Working.spiders.workSpider import WorkSpider
from scrapy.settings import Settings
from scrapy.utils.project import get_project_settings

spider = WorkSpider(domain='scrapinghub.com')
crawler = CrawlerProcess(Settings())
crawler.start()
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run()

请帮我解决这个问题。谢谢

Answer 1

错误基本上是说你不在主线程中，所以信号没有被处理。

从 CrawlerProcess 切换到 CrawlerRunner 为我解决了这个问题（我猜在 CrawlerRunner 中你在主线程中）http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerRunner

希望对你有帮助