当带有 extract() 的 Scrapy 选择器返回 None 时如何设置默认值？答案

【问题标题】：How to set a default value when Scrapy selector with extract() returns None?当带有 extract() 的 Scrapy 选择器返回 None 时如何设置默认值？
【发布时间】：2019-04-13 18:15:04
【问题描述】：

我正在尝试生成一个标签的值，该标签并不总是出现在我用 Scrapy 抓取的页面中。我使用的是extract() 函数而不是extract_first()。因此，我似乎无法设置默认值，就像 this SO post 中建议的那样。

这不起作用：

def parse(self, response):
        yield {
          'comments': response.css('[itemprop=commentCount]::attr(content)').extract(default=None)
          }

当我想使用extract() 而不是extract_first() 时，如何将None 设置为默认值？

提前非常感谢！

【问题讨论】：

标签： python web-scraping scrapy css-selectors

【解决方案1】：

.extract() 以列表形式生成输出，.extract_first() 生成字符串。

response.xpath('xpath_of_the_component').extract_first(default="default_value").split()

这行代码将再次将字符串转换为列表并设置默认值（如果不可用）。

【讨论】：

【解决方案2】：

试试这个语法：

{'comments': response.css('[itemprop=commentCount]::attr(content)').extract() or None}

如果response.css(CSS) 的结果为空列表，则None 将被分配为comments 键的值。否则，将分配实际值

【讨论】：