【问题标题】:Firestore: sync more than one collecttion/subcollection to BigQuery using extension firestore-bigquery-exportFirestore:使用扩展 firestore-bigquery-export 将多个集合/子集合同步到 BigQuery
【发布时间】:2020-09-24 08:13:14
【问题描述】:

我需要同步 Firestore 和 BigQuery 以进行实时数据分析。我的 Firestore 数据库有 2 个带有子集合的不同集合,我需要同步所有集合/子集合。我无法更改此结构。

我测试了 firestore-bigquery-export 扩展以同步一个 Firestore 集合或一个子集合(使用 {wildcard}),它运行良好(除了数据位置设置为美国,如果选择另一个位置)。

同步多个集合/子集合的方法是什么?

我从扩展文档中读到: https://github.com/firebase/extensions/tree/master/firestore-bigquery-export: 请注意,此扩展仅侦听集合中的文档更改,但不会侦听任何子集合中的更改。不过,您可以安装此扩展的其他实例来专门监听数据库中的子集合或其他集合。

如何安装其他扩展实例?

否则,我可以设置一个云函数来编写一个大集合,该集合在有数据库编辑时加入两个集合并同步一个新集合。但我不喜欢这个解决方案,因为它是多余的

【问题讨论】:

  • 我解决了。我意识到可以直接从 Firestore UI 安装更多扩展实例。我会安装很多扩展,因为有 te 集合/子集合。
  • 既然你找到了这个答案,你可以把它作为答案发布,这样我们就可以提高它对其他有类似问题的用户的可见性。

标签: google-cloud-platform google-cloud-firestore google-bigquery


【解决方案1】:

我解决了。我意识到可以直接从 Firestore UI 安装更多扩展实例。我会安装很多扩展,因为有集合/子集合。

【讨论】:

    【解决方案2】:

    目前,扩展程序的单个实例监控一个集合。要同步多个集合,您可以使用专门针对您的其他集合的配置选项多次安装扩展。

    1. https://github.com/firebase/extensions/issues/12
    2. https://github.com/firebase/extensions/issues/619

    【讨论】:

      猜你喜欢
      • 2019-11-01
      • 2019-11-02
      • 1970-01-01
      • 1970-01-01
      • 2020-03-23
      • 2021-08-28
      • 1970-01-01
      • 2019-02-24
      • 1970-01-01
      相关资源
      最近更新 更多