【问题标题】:How do I log Scrapy settings?如何记录 Scrapy 设置?
【发布时间】:2016-01-24 12:36:37
【问题描述】:

Scrapy 从多个来源获取其设置——环境参数、配置文件、编程设置——所以我想记录有效设置以查看它有什么。

我该怎么做?

我会简单地遍历 Scrapy 的 Settings 对象中的键和值,但它并没有像人们期望的那样公开 dict 的完整接口。

【问题讨论】:

  • 见罗纳尔多的回答。关键点是遍历 settings.attributes 的键并从设置中获取值。

标签: python configuration scrapy


【解决方案1】:

您可以迭代可用的属性:

for name in crawler.settings.attributes:
    value = crawler.settings.get(name)
    print name, '=', repr(value)

输出:

CLOSESPIDER_ITEMCOUNT = 0
USER_AGENT = u'Scrapy/1.0.3 (+http://scrapy.org)'
HTTPCACHE_DIR = 'httpcache'
MEMUSAGE_REPORT = False
...

【讨论】:

  • 罗纳尔多,我对此进行了编辑以从开头删除“In [2]”并从示例输出中拆分代码。
猜你喜欢
  • 2017-12-21
  • 1970-01-01
  • 1970-01-01
  • 2012-10-15
  • 1970-01-01
  • 2023-03-27
  • 2012-09-24
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多