【问题标题】:BigQuery make a table/view from json data columnBigQuery 从 json 数据列创建表/视图
【发布时间】:2022-09-22 23:36:03
【问题描述】:

我已经安装了用于将数据流式传输到 bigquery 的 firebase 扩展。 之后,我用历史数据回填了表格。 我遇到的一件事是该表是基于更改日志构建的,因此每个流式事件的数据都作为嵌套 json 对象包含在一个名为“数据”的列中。

我想知道是否有一个简单的函数可以从这个 json 对象创建一个视图/表。 这样它将键单独作为列,然后用每一行的值填充它。

一个困难是不同的事件类型包含不同的嵌套的 json 对象。

这就是为什么我想为每个事件创建一个表/视图。

    标签: sql firebase google-cloud-firestore google-bigquery firebase-extensions


    【解决方案1】:

    我想知道是否有一个简单的函数可以创建一个视图/表 出这个json对象。所以它把钥匙分开作为 列,然后用每一行的值填充它。

    是的,您可以按照扩展 documentation 中的说明使用 fs-bq-schema-views 脚本。

    该脚本会根据您以 JSON 格式编写的架构配置生成原始变更日志的 BigQuery 视图。这很容易,只需按照说明进行操作。

    一个难点是不同的事件类型包含不同的json 嵌套不同的对象。

    您可以基于两种不同的模式创建两个不同的视图,一种用于每种类型的事件,并在查询视图时过滤记录。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-08-24
      • 2021-12-23
      • 1970-01-01
      • 2019-01-25
      • 1970-01-01
      • 1970-01-01
      • 2020-10-19
      相关资源
      最近更新 更多