使用 Cloud Shell 终端将 Firestore 数据库数据复制到 Bigquery

Question

有谁知道如何使用 Cloud Shell 终端手动将数据从 Firestore 数据库复制/传输到 Bigquery？

我过去曾这样做过，但找不到我使用的文档/视频。我发现很多说明一旦 Bigquery 连接到 Firebase，它应该是自动的，但我的不是。

当我在 Cloud Shell 终端中运行代码以从 Firebase 提取数据时，该集合作为表复制到 Bigquery 数据集中。创建了两个表，并创建了“raw_latest”和“raw_changelog”。

我现在不知道如何转移另一个收藏。 我特别需要从 Firestore 数据库中的子集合传输数据。

Answer 1

1. 您现在可以使用 Firebase 扩展。要导入您需要的所有以前的数据 首先安装扩展，因为所有的写入同时做 不安装扩展先导出会丢失。

   见：https://firebase.google.com/products/extensions/firestore-bigquery-export

2. Firestore 允许使用 GCS 将数据导入/导出到 BigQuery 桶。数据将导出到 Cloud Storage 存储分区并从 在那里可以将其导入 Big Query。
   相同的 gcloud 命令是：

导出数据：

gcloud beta firestore export --collection-ids=users gs://my bucket/users

将备份加载到 bq 中：

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

1. 以下是一些可能有用的链接：

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore
• https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md