将 2 个回调返回到没有 HREF 标记的抓取 URL答案

【问题标题】：Returning 2 callbacks to scrapy URLs with no HREF tags将 2 个回调返回到没有 HREF 标记的抓取 URL
【发布时间】：2020-12-02 13:27:21
【问题描述】：

我目前正在使用 CrawlSpider 来查找任何链接并因此关注它们。

为了抓取没有 HREF 标记（纯文本）的 url，我将它们提取出来，然后使用以下 sn-p 将它们添加回 parse 方法中。

return scrapy.Request(f'http://{url}')

这个方法的问题是基本 URL 没有被调用到我的其他解析器方法中。例如example.com 没有，但 example.com/example 有。我尝试在代码中添加一个回调（callback=self.url_parser），但是没有调用默认的解析方法，因此不会抓取和跟踪链接。

有没有办法将这些无 href 链接传递到默认解析方法（以便跟踪链接），但也让我的解析器方法解析它们？

谢谢！

【问题讨论】：

【解决方案1】：

我最终将我对规则的回调更改为 parse_start_url 并且一切正常

【讨论】：