将抓取的 .csv 文件从 AWS EC2 导出到 AWS MYSQL 数据库

Question

我有一个 Python Scraper，我使用 Cron 在我的免费层 AWS EC2 实例中定期运行，它每天输出一个包含大约 4-5000 行和 8 列的 csv 文件。我一直在从我的家庭 Ubuntu 操作系统 ssh-ing 到它，并将新数据添加到 SQLite 数据库，然后我可以使用它来提取我想要的数据。

现在我想试用免费的 AWS MySQL 数据库，这样我就可以将数据库放在云端，并从我家用 PC 上的终端中提取数据。我四处搜索，发现没有关于如何做到这一点的直接教程。如果做过这件事的人能给我一个关于我需要采取的步骤的概念性想法，那就太好了。理想情况下，我希望在我的 EC2 实例使用新的 csv 表更新后自动更新数据库。一旦表在 aws MySQL 数据库中，我就可以进行所有重复数据删除。

欢迎任何关于此的建议或教程链接。正如我所说，我已经搜索了很多指南，但没有找到任何关于此的内容。也许这个概念是完全错误的，并且我没有看到完全不同的方法？

Answer 1

问题是您无权访问 RDS 文件系统，因此无法在那里上传 csv（也无法导入）。

修改您的 Python Scraper 以直接连接到 DB 并在那里插入数据。

Answer 2

您是否考虑过使用AWS Lambda 来运行您的爬虫？

查看此AWS tutorial，它将帮助您配置 Lambda 函数以访问 Amazon RDS 数据库。