如何在 Google Cloud Platform 中配置特定的数据管道？ [关闭]

Question

我有一个任务来实现一个后端服务（Java/Spring）运行在 Cloud Run 并在 GCP 中创建（配置）一个使用此服务的数据管道 自动处理正在上传到 云存储存储分区。当新文件上传到存储桶时，我需要对其进行处理并以特定方式解析到 BigQuery。

所以，我已经成功部署了 Spring 应用程序并设计了 avro 模式。我发现 google 有关于如何将 avros 加载到 BigQuery example 的示例，我认为这可以应用于此任务。

我坚持上传事件（或者可能是数据管道配置？）。我真的不知道如何处理文件上传事件（我想我需要在上传新文件时获取它的 URI）。我试图阅读有关 Google Dataflow 的信息，但我认为这不是我的任务所需要的。请您给我一些建议，告诉我应该怎么做。

Answer 1

其中一个选项是使用 Cloud Functions configured to be triggered by uploading a file。 另一种选择是订阅Pub/Sub notifications for Cloud Storage。 另一种选择是使用 Apache Beam 的 Google Cloud Dataflow Runner。

在繁重的负载下，有时触发事件可能会重复，因此您需要确保您的云功能不会多次处理单个文件。