xpath选择器在scrapy shell中返回null

Question

我正在尝试从这个 url https://www.farfetch.com/shopping/men/gucci-white-rhyton-web-print-leather-sneakers-item-12889013.aspx?storeid=9359 抓取一些数据

html 看起来像这样：

<div class="cdb2b6" id="bannerComponents-Container">
  <p class="_41db0e _527bd9 eda00d" data-tstid="merchandiseTag">New Season</p>
  <div class="_1c3e57">
    <h1 class="_61cb2e" itemprop="brand" itemscope="" itemtype="http://schema.org/Brand">
    <a href="/shopping/men/gucci/items.aspx" class="fd9e8e e484bf _4a941d f140b0" data-trk="pp_infobrd" data-tstid="cardInfo-title" itemprop="url" aria-label="Gucci">
    <span itemprop="name">Gucci</span>
    </a>
    </h1>
  </div>
 </div>

我在scrapy shell中运行response.xpath('//div[@id="bannerComponents-Container"]/@class')，但我得到的是：

In [1]: response.xpath('//div[@id="bannerComponents-Container"]/@class')
Out[1]: []

为什么？我在 Amazon、Ebay 等上遇到了类似的问题，我的 xpath 选择器似乎不起作用

Answer 1

这是因为headers。定义一个并得到你所追求的。请尝试以下操作：如果您退出 headers，结果将变为无。

import requests
from scrapy import Selector

LINK = 'https://www.farfetch.com/bd/shopping/men/gucci-white-rhyton-web-print-leather-sneakers-item-12889013.aspx?storeid=9359'

def get_item(url):
    res = requests.get(url,headers={"User-Agent":"Mozilla/5.0"})
    sel = Selector(res)
    name = sel.xpath('//div[@id="bannerComponents-Container"]//span[@itemprop="name"]/text()').extract_first()
    print(name)

if __name__ == '__main__':
    get_item(LINK)

输出：

Gucci