使用 Google Cloud Functions 长时间运行的 python 进程答案

【问题标题】：Long running python process with Google Cloud Functions使用 Google Cloud Functions 长时间运行的 python 进程
【发布时间】：2019-11-15 05:23:41
【问题描述】：

我正在尝试在 Google Cloud 中运行一个 python 脚本，该脚本将每天一次将 50GB 的数据下载到存储桶中。该下载可能需要比 Google Cloud Functions 上设置为 9 分钟的超时限制更长的时间。调用python函数的请求由HTTP触发。

有没有办法解决这个问题？我不需要运行 HTTP Restful 服务，因为它每天从外部源调用一次。（无法安排）。

整个前提是将大量数据直接下载到云端。感谢您的任何建议。

【问题讨论】：

标签： python google-cloud-functions long-running-processes

【解决方案1】：

9 分钟是 Cloud Functions 不可超过的硬性限制。如果您不能将您的工作分成更小的单元，每个函数调用一个单元，请考虑使用不同的产品。 Cloud Run 限制为 15 分钟，而 Compute Engine 没有适用于您的限制。

【讨论】：

【解决方案2】：

Google Cloud Scheduler 可能很适合。

这是一个不错的谷歌博客post，它展示了如何设置 python 脚本的示例。

附言您可能希望将其连接到 App Engine 以进行实际执行。

【讨论】：