启用使用 Scrapy shell 选择元素答案

【问题标题】：Enable to select element using Scrapy shell启用使用 Scrapy shell 选择元素
【发布时间】：2020-02-26 13:04:30
【问题描述】：

一旦打开，我就开始获取：

fetch('https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas')

我尝试打印出每个产品的标题，结果没有选择：

>>> response.css('.shelfProductTile-descriptionLink::text')
output:  []

也试过了：

>>> response.css('a')
output:  []

我该怎么办？谢谢

【问题讨论】：

【解决方案1】：

您的代码是正确的。发生的情况是，scrapy 检索到的 HTML 中没有 a 元素。当您使用浏览器访问该页面时，产品列表会在浏览器端使用 javascript 填充。它们不在 HTML 代码中。

In the doc 你会发现预渲染 javascript 的技术。也许你应该尝试一下。

【讨论】：