【问题标题】:How do I set a custom flag in Scrapy project?如何在 Scrapy 项目中设置自定义标志?
【发布时间】:2016-01-23 10:14:48
【问题描述】:

我正在做一个 Scrapy 项目。我想设置一个标志(项目明智)来检查我是在 QA 模式还是生产模式下运行。这个标志必须在任何蜘蛛、中间件等中都可以访问。 我尝试在 Scrapy 设置文件中设置自定义标志,但似乎不起作用。有什么建议吗?

【问题讨论】:

  • 设置应该可以工作,它可以从任何地方访问,共享一些代码,到底是什么失败了?
  • 找到了解决方案。在 Scrapy 设置中设置标志是正确的方法。早些时候,我试图使用 python 的 print 语句在我的代码中打印标志值,但没有成功。但是使用 python 的日志框架,我可以打印在 Scrapy 设置文件中设置的标志的值。

标签: python scrapy


【解决方案1】:

可以在 Scrapy 项目的 settings.py 中设置需要按项目访问的标志(任何键值对)。

settings.py 位于

项目名称/项目名称/settings.py

在代码(蜘蛛、中间件等)中,可以通过以下方式访问标志

from scrapy.conf import settings
settings.get('QA', False)

【讨论】:

  • 不推荐使用scrapy.conf.settings,从蜘蛛获取设置的最好方法是通过它自己,使用self.crawler.settings
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-05-25
  • 2017-07-07
  • 2016-06-02
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多