在 Scrapy 中爬取多个级别

Question

我是 scrapy 的新手，在我花费大量时间查看文档和反复试验之前，我想我会问专家我正在寻找的东西是否可能。

1. 导航到应用程序 URL
2. 从网站上的所有链接中，过滤一部分链接。
3. 访问这些链接中的每一个 3.1 对于每一个链接，抓取并提取并存储一些信息 3.2 此回复中有一个我想关注的特定链接 3.3 删除对此链接的响应并记录下来。

要实现这一点，所有这些都可以在一个蜘蛛中完成，还是我必须过滤第 2 步中的链接并为第 3 步调用第二个蜘蛛？

Answer 1

更新：所以这绝对可以使用scrapy。至少多级爬行是。我还没有深入了解是否可以在爬网中存储和链接来自不同级别的项目，以便我将信息放在一个地方。但是从我到现在为止看到的scrapy的灵活性来看，这很有可能。