用 Python 设计一个多进程蜘蛛

Question

我正在用 Python 开发一个多进程蜘蛛。它应该开始抓取一页的链接并从那里开始工作。具体来说，顶级页面包含类别列表、这些类别中的二级页面事件以及事件中的最终、三级页面参与者。我无法预测会有多少类别、活动或参与者。

我不知道如何最好地设计这样的蜘蛛，尤其是如何知道它何时完成爬网（预计它会继续运行，直到它发现并检索到每个相关页面）。

理想情况下，第一次抓取是同步的，其他一切都是异步的，以最大限度地并行解析和添加到数据库，但我一直不知道如何确定抓取何时完成。

你建议我如何构建蜘蛛，就并行进程，尤其是上述问题而言？

Answer 1

您可能想研究Scrapy，这是一个异步（基于Twisted）网络爬虫。看起来对于您的任务，蜘蛛的 XPath 描述很容易定义！

祝你好运！

（如果你真的想自己做，也许可以考虑使用小型 sqlite 数据库来跟踪每个页面是否被点击......或者如果它的大小合理，只需在内存中做......扭曲general 可能是你的好朋友。）

Answer 2

我假设您将要访问的项目放在 queue 中，使工作人员耗尽队列，工作人员找到要访问的新项目并将它们添加到队列中。

当所有worker都空闲，并且要访问的项目队列为空时，它就完成了。

当工作线程利用队列的task_done() 方法时，主线程可以join() 阻塞队列直到它为空。