如何在 GCP 中每天运行 Python 脚本？

Question

我有一个简单的脚本，它从 API 检索数据并将其加载到 BigQuery。我在使用 Cloud Functions 并且运行流畅，但是有时间达到了 9 分钟的运行时间限制。

在 GCP 中执行此操作的最佳方法是什么，并占用脚本所需的时间？我正在考虑创建另一个云函数，它每天启动一个可抢占的 VM，VM 执行脚本并最终自行关闭。为了保持低价，VM 总是在数据加载结束时关闭。它将在第二天的选定时间开始。

我不知道从哪里开始，但我想知道这是否是最好的方法。

Answer 1

云功能并不适合运行时间可能超过 10 分钟的批处理作业。我建议您使用 Compute Engine 虚拟机运行您的工作，并结合使用云功能/云调度程序来调度它。

这是一个粗略的大纲：

1. 设置容器化的 Compute Engine 虚拟机。
2. 创建一个 Cloud 函数以在 pub-sub 触发器上启动 VM。

import googleapiclient.discovery

def start_job(event, context):
    """Triggered from a message on a Cloud Pub/Sub topic.
    Args:
         event (dict): Event payload.
         context (google.cloud.functions.Context): Metadata for the event.
    """
    compute = googleapiclient.discovery.build('compute', 'v1')
    compute.instances().insert(
        project='project_id',
        zone='us-east1-b',
        body=vm_config).execute()

1. 创建一个 Cloud Scheduler 以根据您的计划触发 pub-sub。

这可以让您避免永远在线的虚拟机的成本。有关更多详细信息，请参阅此blog post。

Answer 2

这行得通吗？

import schedule
import time

def run_daily():
    do something
    do something else        


schedule.every().day.at("08:20:30").do(run_daily) # HH MM SS

while True:
    schedule.run_pending()
    time.sleep(1)