【问题标题】:Automate batch processing using cloud functions from google cloud storage to bigquery - something is missing使用从谷歌云存储到 bigquery 的云功能自动化批处理 - 缺少一些东西
【发布时间】:2021-06-02 02:57:56
【问题描述】:

我想要达到的目标: 每次我将文件上传到 Cloud Storage 时,它​​都会自动写入附加到 BigQuery。

我所做的工作: 云存储触发云功能工作正常。 数据流模板 Cloud Storage 到 Big Query 工作正常。

但是它们不能一起工作。如何让云功能触发来激活数据流部分?是脚本还是我遗漏了一些设置?

缺少将它们全部连接起来的东西。我对此比较陌生,我一直在寻找这方面的教程,但我不知道我是否一直在搜索错误的关键字,我找不到任何相关的教程。

【问题讨论】:

    标签: google-cloud-platform google-bigquery google-cloud-functions google-cloud-storage google-cloud-dataflow


    【解决方案1】:

    Dataflow 有一个REST API,我认为这将是您的选择。

    当您查看the documentation 中的示例时,您可以在每个示例中选择控制台、gcloud 和 API。因此,如果您当前有工作模板并且您正在使用控制台或gcloud 运行它,您只需将其转换为 POST 请求,如 API 中所示。

    您可以在适当的工具中测试请求(例如使用POSTMAN)。当您将有有效的 POST 请求时,您必须以您的首选语言创建 Cloud Function,如果您将创建请求。对于 nodejs,您可以使用 this,对于 Python,您可以使用 this,我相信您将能够在 Google Cloud Function 中选择任何语言的示例。

    【讨论】:

      【解决方案2】:

      如果我正确理解了您的问题,您所需的工作流程将是:

      Cloud Function ---> Google Cloud Storage (GCS) ---> Cloud Dataflow ---> BigQuery

      而且,对您来说最重要的部分是如何在 GCS 中写入新文件时触发 Dataflow 作业。 GCS 中没有这样的功能可以做到这一点。您需要以某种方式进行编排。

      为此,您可以添加另一个云函数 triggered on a new file creation in GCS bucket。而且,在该 Cloud Function 中,您只需启动一个 Dataflow 管道。

      架构最终会是这样的:

      云函数 1 ---> GCS ---> 云函数 2 ---> 数据流作业 ---> BigQuery

      其中 Cloud Function 1 是您当前的 Cloud Function,而 Cloud Function 2 是新文件到达存储桶并启动 Dataflow 时触发的新功能工作。

      我想提一下,如果您选择使用External Table in GCS,而不是在 BigQuery 中使用本机表,则可以避免创建第二个云函数和数据流作业。它有优点和缺点。根据您的情况可能是个好主意。

      【讨论】:

        猜你喜欢
        • 2018-10-30
        • 1970-01-01
        • 2019-12-08
        • 2019-09-22
        • 2017-08-20
        • 2021-08-20
        • 2019-05-29
        • 2021-08-21
        • 2014-10-30
        相关资源
        最近更新 更多