【问题标题】:Trigger cloud function when new data in BigQueryBigQuery 有新数据时触发云函数
【发布时间】:2019-07-14 12:49:45
【问题描述】:

我想在将新数据导入 BigQuery 表时触发云函数。理想情况下,我想提取所有已插入的行(一列是 ISIN)。

这是否可能以及如何实现?

【问题讨论】:

  • 目前这是不可能的,但请继续关注,因为很快就会有一些事情发生。
  • 同时,您是否建议目前最好的解决方案是让一个 cron 作业检查数据是否存在,然后使用 pubsub 或 http 触发后台功能?
  • 创建一个作业,我会列出最近的作业,并推送作业 ID 以进行进一步处理,或者直接查询表中的新行。
  • @Pentium10 新闻?
  • “即将到来的事情”……是 EventArc (cloud.google.com/blog/products/serverless/…)?

标签: google-cloud-platform google-bigquery


【解决方案1】:

不幸的是,截至 2021 年 1 月,BigQuery 没有触发器作为原生功能:/ 但是您可以实施一个很好的解决方法! :)

您可能知道,几乎 GCP 中的每个操作都记录到 Cloud Logging(以前的 StackDriver Logging)。在this 文章中,他们演示了如何在 BigQuery 加载作业完成时触发云函数。这个想法很简单:

  1. Cloud Logging 中的 BigQuery 加载作业创建一个过滤器,以捕获加载作业何时终止。
  2. Create a sink 从 Cloud Logging 到 Pub/Sub 主题。
  3. Set your Cloud Function 作为该主题的消费者并实现您的逻辑

【讨论】:

  • 同意这个,已经试过了,效果很好
猜你喜欢
  • 2019-07-14
  • 1970-01-01
  • 2023-03-31
  • 2021-01-19
  • 1970-01-01
  • 2018-09-14
  • 2018-10-17
  • 2019-01-11
  • 2023-03-14
相关资源
最近更新 更多