我应该在哪里将 db/redis 连接绑定到 scrapy？

Question

抱歉打扰各位了。这是一个不好的问题，似乎真正让我感到困惑的是 ItemPipeline 如何在 scrapy 中工作。我将关闭它并开始一个新问题。

---

我应该在哪里将 db/redis 连接绑定到 scrapy，Spider 或 Pipeline。

在scrapy 文档中，mongo db connection is bind on Pipeline。但它也可能是bound to the Spider（这也是扩展scrapy-redis 所做的）。后面的解决方案带来的好处是除了管道之外，蜘蛛可以在更多地方访问，比如中间件。

那么，哪种方法更好呢？

我对管道并行运行感到困惑（这是文档所说的）。这是否意味着MyCustomPipeline 有多个实例？

另外，首选redis/db的连接池？

我只是缺乏做出决定的现场经验。需要你的帮助。提前致谢。

正如文档所说，ItemPipeline 是并行运行的。如何？是否有重复的 ItemPipeline 实例在线程中运行。 （我注意到 FilesPipeline 使用延迟线程将文件保存到 s3）。或者每个管道只有一个实例并在主事件循环中运行。如果是后一种情况，连接池似乎没有帮助。因为当你使用 redis 连接时，它被阻塞了。一次只能使用一个连接。

Answer 1

了解 scrapy 架构在这方面的重要性。看下图

蜘蛛

Spider 是 Scrapy 用户编写的自定义类，用于解析响应并从中提取项目（也称为抓取的项目）或其他 URL（请求）以进行跟踪。每个蜘蛛都能够处理一个特定的域（或一组域）。

项目管道

项目管道负责在项目被蜘蛛提取（或抓取）后对其进行处理。典型任务包括清理、验证和持久性（例如将项目存储在数据库中）。

了解以上架构图后，Scraper 类用于抓取网站，item pipeline 类用于处理item（抓取的请求）。

这里有两种情况：

1. 当您从任何数据库中获取网址时

在这里，为了抓取网站，您需要网站的网址。如果这些 url 存储在任何数据库中，那么最好将数据库连接对象绑定到爬虫类，以便可以动态获取它们。

1. 当您要处理抓取的项目时 - 存储数据等。

这里基本上就是将数据库连接对象绑定到Item Pipeline，这样我们就可以直接将抓取的数据存入数据库了。

根据场景，将数据库连接绑定到 Scraper 类和 Pipeline 类都是正确的。

问题 2：

首选redis/db的连接池？

是的，任何数据库的连接池总是首选。

连接池维护一个通常稳定的有效/打开连接集合，假设为 10。当应用程序需要运行查询或进行更新时，它通过“打开”连接从池中“借用”连接.完成后，它会“关闭”连接，并将其返回到池中以供下一个请求使用。由于连接已经打开，因此获取连接没有任何开销。

来源：https://qr.ae/pNs8jA

Answer 2

最佳实践是在管道中绑定连接，以遵循separation of concerns 原则。

Scrapy 使用相同的并行基础架构来执行请求和处理项目，因为您的蜘蛛产生项目，scrapy 将从管道实例调用 process_item 方法。 Check it here.

在蜘蛛实例化期间实例化每个管道的单个实例。

另外，首选redis/db的连接池？

抱歉，这个我帮不上忙。