使用 Python Web Scraping 的项目

Question

我正在做一个项目，我只是想知道我应该走哪条路线（如果我没有走正确的路线）才能成功完成这个项目。

渡轮时间：此应用程序使用船只坐标和 ETA 算法来确定船只何时接近某个目的地。

现在，我已经制作了一个可以工作的原型，但不是我想要的方式。为了让我的 ETA 准确地显示在我的网站上，我有一个 Python 脚本，它每分钟运行一次以 webscrape 从特定站点获取这些坐标，执行算法并吐出 ETA。然后将 ETA 发送到我的数据库，在那里我使用 PHP 和 SQL 在我的网站上显示它。

只要这个脚本正在运行，ETA 的唯一更新（我实际上是在 Eclipse 上运行该脚本，然后将它留在那里）

现在我的问题是：有没有办法可以避免运行脚本？几乎就像一个 API。或者根本不使用数据库？

谢谢！

Answer 1

即使他们有 API，您仍然需要针对它运行一些东西才能获得结果。如果您不想让您的 IDE 保持打开状态，您可以使用 cron 来调用您的脚本。

Answer 2

如果您的算法结果仅取决于最后一次抓取而不是多次抓取的历史记录，那么您可以“按需”抓取并将您的算法部署为 AWS lambda 函数。