在 Scrapy 中为同一个 ArticleItem 使用多个 CSS 选择器答案

【问题标题】：Using multiple CSS selectors for the same ArticleItem in Scrapy在 Scrapy 中为同一个 ArticleItem 使用多个 CSS 选择器
【发布时间】：2014-09-21 01:16:40
【问题描述】：

我正在抓取的网站布局不一致。我目前正在使用它，但它没有返回所有标题 -

article['title'] = sel.css('p[class=title] ::text').extract()

我还需要使用它来抓取跨度类 -

article['title'] = sel.css('span[class=newstitle] ::text').extract()

有没有办法在一个 ArticleItem 中组合两个 CSS 选择器？

【问题讨论】：

标签： python scrapy

【解决方案1】：

就像列表连接一样简单：

article['title'] = response.css("p.title ::text").extract() + \
                   response.css("span.newstitle ::text").extract()

【讨论】：

一个更简单的：response.css("p.title ::text, span.newstitle ::text").extract()