Scrapy 从其他链接获取值

Question

def parse(self, response):
    list = {
        "name": response.css("#title::text").extract_first(),
        "images": []
    }

    for image in response.css("#images_link a::attr(href)").extract():
        list["images"].append(yield scrapy.Request(url=image, callback=self.parse_image))
        
    yield list
    
def parse_image(self, response):
    return [response.css("img::attr(alt)").extract(), response.css("img::attr(src)").extract()]

我想删除一个页面并删除它的一些子链接并将它们附加到list 的主要对象，但它返回许多对象而不是一个

怎么做才对？

Answer 1

最好将“list”重命名为其他名称。

请求不是这样工作的，您需要传递项目（示例中为“dict1”）。

这是一个例子（因为你没有提供网站的网址，所以我无法检查它，但我希望你明白这一点）：

import scrapy


class ExampleSpider(scrapy.Spider):
    name = "exampleSpider"
    start_urls = ['https://www.example.com']

    def parse(self, response):
        dict1 = {
            "name": response.css("#title::text").get(),
            "images": []
        }

        images_urls = response.css("#images_link a::attr(href)").getall()

        if images_urls:
            scrapy.Request(url=images_urls[0],
                           callback=self.parse_image,
                           cb_kwargs={'dict1': dict1, 'images_urls': images_urls[1:]})

    def parse_image(self, response, dict1, images_urls):
        if images_urls:
            dict1['images'].append([response.css("img::attr(alt)").getall(), response.css("img::attr(src)").getall()])
            scrapy.Request(url=images_urls[0],
                           callback=self.parse_image,
                           cb_kwargs={'dict1': dict1, 'images_urls': images_urls[1:]})
        else:
            yield dict1

阅读以下内容： request objects, passing additional data to callback functions