【问题标题】:Scrapy/Python: How to get JOBDIR setting from inside of spider?Scrapy/Python:如何从蜘蛛内部获取 JOBDIR 设置?
【发布时间】:2016-05-01 21:31:00
【问题描述】:

我就是这样乱跑的

scrapy crawl somespider -s JOBDIR=crawls/somespider-1 -a input_data=data

(用于维护作业状态)

当意外发生时(例如,连接丢失)

引发了 CloseSpider 异常,并且蜘蛛稍后被安排作为 cron 作业运行

我通常将**kwargs 内的__init__ 传递给新的蜘蛛爬行

但是在 **kwargs 中找不到 JOBDIR

有什么方法可以从蜘蛛内部访问这个值?

【问题讨论】:

    标签: python scrapy


    【解决方案1】:

    从蜘蛛内部: self.crawler.settings.get("JOBDIR")

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-22
      • 1970-01-01
      • 2017-07-09
      • 1970-01-01
      相关资源
      最近更新 更多