使用 Python 脚本自动将实体存储在 GAE 云数据存储中

Question

我编写了一个 Python 脚本，它可以从我们大学的 HTML 页面中抓取我们需要的所有学位信息。它会生成一个包含所有数据的.csv 文件。然后使用我们 API 中的方法将来自 .csv 文件的数据上传到数据存储区。

这是一个特别枯燥的过程。由于我们只能发出不到一分钟的请求，因此我们需要将.csv 文件分解为许多不同的位。显然，这并不酷。

我们最初设想了一个数据库，该数据库将采用我们的 python 脚本并每年更新/填充所有新学位信息。与一个用 Java 编码的 GAE 云数据存储一起运行的 Python 脚本。

可以这样做吗？我们可以让数据库自行更新吗？

如果是这样，我们是否可以手动和自动实现它？

感谢阅读！

Answer 1

因此，基本上，您希望获取使用一个 Python 脚本创建的 csv 文件，然后使用另一个程序对其进行解析并将该数据上传到数据存储区，以便其他事物可以访问它。

我看到了几个选项：

1. 使用拉取队列。设置一个 Appengine 项目，该项目托管一个 RESTful 服务，您当前的 Python 脚本可以将 CSV 文件上传到该服务，然后应用程序处理/将其放入数据存储区。

2. 使用 cron 作业构建一个应用程序，该作业检查新 CSV 文件的特定位置，让原始 Python 脚本（或手动）将 CSV 文件放入该特定文件夹并使用它。该应用程序还可以有一个页面，您可以在其中手动上传 CSV 文件，这将为您提供自动和手动选项。

每个细节以及如何构建它们当然取决于您。