使用 Firebase Export Collections to BigQuery 扩展将 Firestore 数据以表格格式存储在 BigQuery 中答案

【问题标题】：Storing the Firestore data as tabular format in BigQuery with Firebase Export Collections to BigQuery extension使用 Firebase Export Collections to BigQuery 扩展将 Firestore 数据以表格格式存储在 BigQuery 中
【发布时间】：2021-08-28 09:32:59
【问题描述】：

我正在尝试将我现有的和所有未来的数据从我的 Firestore 数据库导出到 BigQuery。

我正在使用 Export Collections to BigQuery firebase 扩展程序，它将我的新数据导出到 BigQuery。 Users_raw_latest 表中有正确的数据。

问题是它没有我想要的表格格式的数据。我期望架构字段是集合属性。该表提供以下架构：

数据字段包含集合中每个文档的json。

当我尝试使用 BigQuery guide 将旧数据（安装扩展程序之前已生成的数据）存储在 BigQuery 中时，它创建了另一个表 Users 并具有我想要的完全正确的架构，即文档属性是表格的列。

有没有什么方法可以使用这个现有的用户表（我不介意删除并再次创建一个）和文档属性，因为列被插入到 Firestore 中的新数据填充，这个扩展或任何替代自动化？还是我必须编写自己的函数才能这样做？

【问题讨论】：

标签： firebase google-cloud-platform google-cloud-firestore google-bigquery firebase-extensions

【解决方案1】：

如doc 中所述，您需要使用fs-bq-schema-views 脚本生成自己的架构视图

您只需要提供一个描述您的数据的 JSON 架构文件结构，并且 schema-views 脚本将创建视图。

详细文档是here。

新架构将包含与您将定义的 JSON 架构文件中声明的字段相对应的列，添加一组“技术”列（document_name、document_id 、timestamp和operation)，如下图：

【讨论】：

谢谢。我应该先阅读完整的文档。我能够建立自己的领域。使用该脚本，我能够生成我期望的列。现在的问题是（正如您已经提到的）是它具有重复的条目以及对文档执行的所有操作。我愿意只看到数据库的最新视图。该脚本生成两个视图：Users_schema_raw_changelog 和 Users_schema_raw_latest。两种模式都是相同的，并在每个文档中记录更改日志。如何让Users_schema_raw_latest 仅具有最新的数据库状态？