如何将 Python Scrapy Extension 中的数据插入 MySql 数据库表？

Question

我正在为 Python Scrapy 构建一个扩展，以获取与爬虫相关的详细信息，例如它的开始时间、结束时间、爬虫状态（打开、关闭或活动）。现在我需要将当前时间戳存储在我的 MySql 数据库表中。有人可以帮我吗？ 我需要一个代码来从 Scrapy 代码连接 MySql 数据库并执行与数据库相关的查询，如 Insert、Select 等。 谢谢..

Answer 1

您需要在项目中添加一个 Item Pipeline，添加方法 process_item 如下所述：http://doc.scrapy.org/en/0.18/topics/item-pipeline.html#process_item

在该方法中，您必须将数据插入 MySQL，如下所述：http://dev.mysql.com/doc/connector-python/en/index.html