动态将 GCP Cloud Storage 中的文件提取到 AWS S3 存储桶

Question

我正在开发一个基于多云（AWS 和 GCP）的宠物项目，该项目基于无服务器架构。

现在有由 GCP 中的业务逻辑生成的文件（使用 Cloud Functions 和 Pub/Sub），它们存储在 GCP 云存储中。我想将这些文件从 Cloud Storage 动态摄取到 AWS S3 存储桶中。

一种可能的方法是使用 gsutil 库 (Exporting data from Google Cloud Storage to Amazon S3)，但这需要一个计算实例，然后手动运行我想避免的 gsutil 命令。

Answer 1

在回答这个问题时，我想起了 Rube Goldberg 类型设置，但我不认为这太糟糕了。

从the Google side，您将创建一个云函数，在创建新文件时收到通知。您将使用Object Finalize 事件。此函数将获取有关文件的信息，然后调用以AWS API Gateway 开头的AWS Lambda。

GCP 函数会将存储桶和文件信息传递给 AWS Lambda。在 AWS 端，您将拥有 GCP 凭证和 GCP API 下载文件并将其上传到 S3。

类似：

GCP 和 AWS 上的所有无服务器。测试还不错，因为您可以将它们分开 - 确保 GCP 正在发送您想要的内容，并确保 AWS 正在解析并执行正确的操作。从 GCP 云功能到 API 网关可能需要进行一些身份验证。此外，如果您可以将 AWS 客户端库拉入 GCP 函数，则可以取消 API 网关。由于您必须将 GCP 库拉入 AWS Lambda，这应该不是什么大问题。