如何使用python在scrapy上抓取2个具有相同域的网页？

Question

大家好，我是抓取数据的新手，我已经尝试过基本的。但我的问题是我需要抓取 2 个具有相同域的网页

我的逻辑是， 第一页www.sample.com/view-all.html *此页面打开所有项目列表，我需要获取每个项目的所有href attr。

第二页www.sample.com/productpage.52689.html

*这是来自第一页的链接，所以 52689 需要根据第一页提供的链接动态更改。

我需要在第二页获取所有数据，如标题、描述等。

我在想的是 for 循环，但它对我不起作用。我在谷歌上搜索，但没有人和我有同样的问题。请帮帮我

import scrapy

class SalesItemSpider(scrapy.Spider):
    name = 'sales_item'
    allowed_domains = ['www.sample.com']
    start_urls = ['www.sample.com/view-all.html', 'www.sample.com/productpage.00001.html']

    def parse(self, response):
        for product_item in response.css('li.product-item'):
            item = {
                'URL': product_item.css('a::attr(href)').extract_first(),
            }
            yield item`

Answer 1

在parse 中，您可以通过yield Request() 使用url 和函数名在不同的函数中抓取该url

def parse(self, response):

    for product_item in response.css('li.product-item'):
        url = product_item.css('a::attr(href)').extract_first() 

        # it will send `www.sample.com/productpage.52689.html` to `parse_subpage` 
        yield scrapy.Request(url=url, callback=self.parse_subpage)


def parse_subpage(self, response):
    # here you parse from www.sample.com/productpage.52689.html 

    item = {
        'title': ..., 
        'description': ...
    }

    yield item

在Scrapy documentation 和its tutorial 中查找Request

---

还有

response.follow(url, callback=self.parse_subpage)

它会自动将www.sample.com 添加到网址中，这样您就不必在

Request(url = "www.sample.com/" + url, callback=self.parse_subpage)

见A shortcut for creating Requests

---

如果您对抓取感兴趣，那么您应该阅读docs.scrapy.org 从第一页到最后一页。