scrapy 仅通过第一个链接

Question

我一般来说是scrapy和python的新手，我正在尝试制作一个从页面中提取链接然后编辑这些链接然后遍历它们中的每一个的scraper。我正在使用scrapy的剧作家。

这是我所在的位置，但由于某种原因，它只抓取了第一个链接。

 def parse(self, response):
        for link in response.css('div.som a::attr(href)'):
            yield response.follow(link.get().replace('docs', 'www').replace('com/', 'com/#'),
                                  cookies={'__utms': '265273107'},
                                  meta=dict(
                                      playwright=True,
                                      playwright_include_page=True,
                                      playwright_page_coroutines=[
                                          PageCoroutine('wait_for_selector', 'span#pple_numbers')]
                                  ),
                                  callback=self.parse_c)

    async def parse_c(self, response):
        yield {
            'text': response.css('div.pple_numb span::text').getall()

Answer 1

如果您可以添加有关您尝试获取的数据的更多详细信息，那就太好了。因此，您可以添加指示的行以查看它是否通过不同的链接？

 def parse(self, response):
        for link in response.css('div.som a::attr(href)'):
            print(link) <--- //could you add this line to check if prints all the links?

Answer 2

根据文档，follow 有两个函数：

1. follow:

返回一个请求实例以跟随链接 url。它接受相同的 参数为 Request.__init__ 方法，但 url 不仅可以是 绝对 URL，还有一个相对 URL，一个 Link 对象，例如链接提取器的结果，...

1. follow_all

生成请求实例以跟随所有链接的生成器 网址。它接受与Request’s __init__ 方法相同的参数， 除了每个 urls 元素不需要是绝对 URL 之外，它 可以是以下任何一种：相对 URL、Link 对象，例如链接提取器的结果，...

如果您尝试使用 follow_all 而不是仅使用 follow 编写代码，它应该可以解决问题。