如何在python中缓存提取的数据

Question

我编写了一个刮板，它从几页中提取数据。现在我意识到它有时会中断（例如互联网中断）并且我丢失了所有（已经）抓取的数据并且必须重新启动抓取过程。

是否有模块或解决方案如何缓存我已经提取的数据，以防脚本再次中断？

最好的问候

Answer 1

我建议你使用scrapy 库，它已经实现了几种机制来保存数据和管理你的蜘蛛。