在 GCP 中将查询集写入 Parquet 的建议方法

【问题标题】：Suggested way to write a queryset to Parquet in GCP在 GCP 中将查询集写入 Parquet 的建议方法
【发布时间】：2021-12-12 07:06:44
【问题描述】：

我有一个针对 SQL Server 实例运行的查询，需要 5 分钟到 75 分钟才能完成。响应大小从几行到 1GB 数据不等。我有一个镶木地板写入器，它只需要等到查询完成并将结果发送回，它就会将结果写入谷歌云存储。

实现这一目标的最佳产品是什么？他们的启动时间大致为零吗？我想到的两个是 Cloud Functions 和 Cloud Run，但我从来没有使用过。

【问题讨论】：

【解决方案1】：

这两项服务都不符合您 75 分钟的要求。

Cloud Functions 在 540 秒时超时。

Cloud Run 在 60 分钟时超时。

对于这种运行时，我会在 Compute Engine Container-Optimized OS 中启动一个容器。

可以配置 Cloud Run cpu-throttling，以便您可以在后台运行任务。

请注意，您将持续为该服务付费，因为它不再按需运行服务（容器）。

【讨论】：