如何在调用它的同一函数中接收 scrapy.Request() 的响应？

Question

我对 Scrapy 很陌生，并且有这个要求，我需要将 Scrapy 请求的响应返回到调用它的函数。 目前我通过使用scrapy-inline-requests 库只找到了一种解决方案

在 Scrapy 中是否有任何原生方式？

举例

def parse(self, response):
    item = spiderItem()

    # Extract some items here from this response using CSS Selectors
    # ....
    # ....

    # Now extract URL from the response
    new_url = response.css("div.urls::text").get()
    yield scrapy.Request(new_url, callback=self.parse_more)

    # Receive the response from parse_more() here. Is it possible?
    resp = 

def parse_more(self, response):
    # This function should be able to return the response back to the parse() function for further processing.

类似于我们在 requests 库中可以做的事情

response = requests.get(url)

Answer 1

由于 Scrapy 是在 Twisted 异步库之上构建的，因此认为这是不可能的。使用 HTTP 响应调用回调方法，而不会阻塞调用线程。