Scrapy - 刮掉所有物品而不是一件物品

Question

我需要刮掉所有的物品，但只有一件物品是刮掉的。 我的代码之前运行良好，但是当我将它转移到其他代码相同的项目时，我不知道为什么

我需要根据start_url中的页面大小获取所有项目

这是我的工作代码

class HmSalesitemSpider(scrapy.Spider):
    name = 'HM_salesitem'
    allowed_domains = ['www2.hm.com']
    start_urls = ['https://www2.hm.com/en_us/sale/shopbyproductladies/view- 
all.html?sort=stock&image-size=small&image=stillLife&offset=0&page- 
size=3002']

def parse(self, response):  
    for product_item in response.css('li.product-item'):
        url = "https://www2.hm.com/" + product_item.css('a::attr(href)').extract_first() 
    yield scrapy.Request(url=url, callback=self.parse_subpage)

def parse_subpage(self, response):
    item = {
    'title': response.xpath("normalize-space(.//h1[contains(@class, 'primary') and contains(@class, 'product-item-headline')]/text())").extract_first(),
    'sale-price': response.xpath("normalize-space(.//span[@class='price-value']/text())").extract_first(), 
    'regular-price': response.xpath('//script[contains(text(), "whitePrice")]/text()').re_first("'whitePrice'\s?:\s?'([^']+)'"),
    'photo-url': response.css('div.product-detail-main-image-container img::attr(src)').extract_first(),
    'description': response.css('p.pdp-description-text::text').extract_first()

    }   
    yield item

请帮忙。谢谢

Answer 1

您的缩进似乎有问题。将屈服请求移至for 循环：

def parse(self, response):  
    for product_item in response.css('li.product-item'):
        url = "https://www2.hm.com/" + product_item.css('a::attr(href)').get() 
        yield scrapy.Request(url=url, callback=self.parse_subpage)

或者这是一个有点清除的版本：

def parse(self, response):  
    for link in response.css('li.product-item a::attr(href)').extract():
        yield response.follow(link, self.parse_subpage)