我正在尝试使用类获取 div：“产品”。问题是，一些具有“产品”类的 div 也具有“产品小”类。所以当我使用xpath('//div[@class='product']') 时，它只捕获一个类而不是多个类的 div。我怎么能用scrapy做到这一点？
例子：
<div class='product'>
<div class='product product-small'>
【问题讨论】：
标签： python html xpath web-scraping scrapy
您应该考虑对这部分查询使用 CSS 选择器。
http://doc.scrapy.org/en/latest/topics/selectors.html#when-querying-by-class-consider-using-css
from scrapy import Selector
sel = Selector(text='<div class="product product-small">I am a product!</div>')
print sel.css('.product').extract()
如果需要，您可以链接 CSS 和 XPath 选择器，如该页面上的示例所示。
【讨论】：
这也可以通过xpath 解决。你只需要使用contains():
//div[contains(concat(' ', normalize-space(@class), ' '), ' product ')]
不过，是的，CSS selector 选项更紧凑、更易读。
【讨论】：
not-a-product 类的元素。
not-a-product 类的元素。谢谢。