将 Firestore 数据与 BigQuery 结合使用答案

【问题标题】：Using firestore data with BigQuery将 Firestore 数据与 BigQuery 结合使用
【发布时间】：2019-02-24 23:52:54
【问题描述】：

是否有任何自动/手动方式将数据从 firestore 数据库导出到 BigQuery 表？

试图环顾四周，似乎没有使用代码就无法从 firestore 导出数据。有这方面的消息吗？

谢谢。

【问题讨论】：

【解决方案1】：

无需编码即可将 Firestore 数据导入 BigQuery 的最简单方法是使用命令行。您可以先使用以下命令export 数据。请注意，要将数据导入 BigQuery，您只能导入特定的集合，而不是一批中的所有文档。

gcloud beta firestore export gs://[BUCKET_NAME] --collection-ids='[COLLECTION_ID]'

接下来，在您上面指定的存储桶中，您将找到一个以导出时间戳命名的文件夹。导航目录，找到以文件扩展名“export_metadata”结尾的文件，并将其文件路径用作导入源。然后，您可以使用以下命令将数据import 输入 BigQuery：

bq --location=[LOCATION] load --source_format=DATASTORE_BACKUP [DATASET].[TABLE] [PATH_TO_SOURCE]

【讨论】：

【解决方案2】：

现在最好的方法是使用官方 Firebase 扩展程序将数据从 Firestore 实时导出到 BigQuery：https://github.com/firebase/extensions/tree/master/firestore-bigquery-export

可以通过控制台或 CLI 完成配置，无需使用任何代码。配置的扩展程序基本上实时地将数据从 Firestore 同步到 BigQuery。

该扩展程序在您配置的 Firestore 集合上创建一个事件侦听器，以及一个用于将数据从 Firestore 同步到 BigQuery 的云函数。

【讨论】：