Xpath 中这个 BeautifulSoup 表达式的等价物是什么？

Question

我正在尝试使用scrapy 和BeautifulSoup 来抓取这个link，但由于某种原因，BeautifulSoup 不能在蜘蛛中工作，它只能在scrapy shell 中工作。我知道这听起来很傻，但是，如何将其转换为 Xpath？

soup.find('li', {'class': 'at-listing__list-icons_location'})

我试过了

response.xpath('//li[contains(text(),"at-listing__list icons_location")]/../descendant::text()').extract()

请参阅my other question，其中包含了我尝试使用 splash 和 BeautifulSoup 使事情正常运行的日志，但到目前为止所有尝试都失败了。

Answer 1

我想您想获得 3 个值“Süddeutschland”、“Feste Anstellung”和“Vollzeit”？ 在这种情况下，下面的 xpath 对我有用：

response.xpath('//*[has-class("at-listing__list-icons_location")]/../descendant::text()').extract()

我认为您的 xpath 中的问题是您试图在文本中查找值 'at-listing__list icons_location'，而不是类。