Scrapy 刮苹果网站

Question

我试图从下面的链接中获取模型和价格，但没有运气，请告诉我哪里出了问题以及如何刮掉这两部分？

https://www.apple.com/shop/buy-ipad/ipad-pro

这是我尝试过的： 799 美元起

获取单词“来自”

response.xpath('//span[@class="as-price-currentprice"]/text()').extract()

[]

---

获取价格本身：

response.xpath('//span[@class="nowrap"]/text()').extract()

[u'1\u2011800\u2011MY\u2011APPLE.', u'1\u2011800\u2011MY\u2011APPLE.', u'Visit an ', u'call ', u', or ']

---

型号

顺便说一句，我根本无法获得模型

11 英寸 iPad Pro

12.9 英寸 iPad Pro

Answer 1

你可以这样做：

headers = response.css('.pd-billboard-subheader::text').getall()
prices = response.css('.pd-billboard-price::text').getall()

result = []
for header, price in zip(headers, prices):
    header_cleaned = header.replace('\xa0', ' ')
    price_cleaned = price.replace('\n', '').replace('        ', '').strip()
    result.append([header_cleaned, price_cleaned])

在此之后，结果将等于：

[['12.9-inch iPad Pro', 'From $999'],
 ['11-inch iPad Pro', 'From $799'],
 ['10.5-inch iPad Pro', 'From $649'],
 ['iPad', 'From $329'],
 ['iPad mini 4', 'From $399']]

Answer 2

查看网站返回的原始 HTML（右键单击 > 查看源代码）。

如您所见，页面只是一个由一些 Javascript 代码动态呈现的模板。

当您查看 Web 浏览器开发工具时，Javascript 已经执行，因此您会看到最终呈现的 HTML，因此请务必查看原始 HTML。