【问题标题】:Scrapy spidermon exceptionsScrapy spidermon 异常
【发布时间】:2021-10-26 15:22:15
【问题描述】:

我正在尝试设置基本的 spidermon 监视器套件,如 here 所述,我在 Google 上进行了快速搜索,还找到了 this。于是我快速发了一个monitors.py,然后把代码复制粘贴进去。

然后我继续这样做:

SPIDERMON_ENABLED = True

SPIDERMON_SPIDER_CLOSE_MONITORS = (
    'spidermon.contrib.scrapy.monitors.SpiderCloseMonitorSuite',
)

在我的scrapy项目的settings.py中。

它不断引发此错误:

spidermon.exceptions.NotConfigured: You should specify a minimum number of items to check against

我相信我已经完成了(SPIDERMON_MIN_ITEMS = 10 # "SPIDERMON_MIN_ITEMS" - 在文件的顶部)。

我做错了什么?我只是想设置预定义的监视器,然后再对其进行优化。

【问题讨论】:

    标签: scrapy spidermon


    【解决方案1】:

    Spidermon 在设置中找不到SPIDERMON_MIN_ITEMS 的有效值。这必须是一个大于零的整数值,否则会抛出所描述的错误。 SPIDERMON_ADD_FIELD_COVERAGE 设置也是必需的,以便使用此 MonitorSuite 中可用的所有监视器。

    为了运行来自 Spidermon 项目的内置关闭 MonitorSuite SpiderCloseMonitorSuite,请确认 settings.py 文件 - 位于您的 scrapy 项目的根目录 - 是否具有以下变量:

    EXTENSIONS = {
       'spidermon.contrib.scrapy.extensions.Spidermon': 500,
    }
    
    SPIDERMON_ENABLED = True
    
    SPIDERMON_MIN_ITEMS = 10
    SPIDERMON_ADD_FIELD_COVERAGE = True
    
    SPIDERMON_SPIDER_CLOSE_MONITORS = (
        'spidermon.contrib.scrapy.monitors.SpiderCloseMonitorSuite',
    )
    

    【讨论】:

    • 谢谢!现在可以使用了
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-02-03
    • 1970-01-01
    相关资源
    最近更新 更多