【发布时间】：2020-05-22 01:29:10
【问题描述】：
我正在编写一个需要从网站上抓取数据的项目，我正在使用 pyspider，它每 24 小时自动运行一次（每 24 小时抓取一次数据）。问题是，在将新数据条目写入 dB 之前，我想将新数据与 dB 中的现有数据进行比较。
- 有我可以使用的工具/库吗？
- 我在 aws 上运行我的项目，我可以使用什么工具来使用 aws？
- 我的想法是为数据更新/插入dB设置一些规则，但是当新数据与规则发生某种冲突时，我将能够查看数据/抓取日志（工具将在其中标记待处理）等待管理员进一步操作。
提前致谢。
【问题讨论】：
标签： database web-scraping amazon-dynamodb compare comparison