我不知道为什么，但我在 Image_url 中没有得到任何东西。我正在使用scrapy

Question

导入scrapy 从 ..items 导入 MatchesfashionItem

类 SpiderSpider(scrapy.Spider): 名称 = '蜘蛛'

start_urls = ['https://www.matchesfashion.com/intl/mens/shop/shoes']

def parse(self, response):
    items=MatchesfashionItem()
    Name = response.css('.lister__item__details::text').extract()
    Brand = response.css('.lister__item__title::text').extract()
    Price = response.css('.lister__item__price-full::text').extract()
    Image_Url = response.css('div.lister__item__image productView').css('a').css('img::attr(src)')
    Product_Url = response.css('.lister__item__inner').css('div.lister__item__image').css('a::attr(href)').extract()

    items['Name'] = Name
    items['Brand'] = Brand
    items['Price'] = Price
    items['Image_Url'] = Image_Url
    items['Product_Url'] = Product_Url

    yield items

Answer 1

这可能是因为包括图像在内的一些内容是由 javascript 生成然后在 DOM 上呈现的。

在这里查看答案可能会有所帮助：Web-scraping JavaScript page with Python