【问题标题】:BigQuery make a table/view from json data columnBigQuery 从 json 数据列创建表/视图
【发布时间】:2022-09-22 23:36:03
【问题描述】:
我已经安装了用于将数据流式传输到 bigquery 的 firebase 扩展。
之后,我用历史数据回填了表格。
我遇到的一件事是该表是基于更改日志构建的,因此每个流式事件的数据都作为嵌套 json 对象包含在一个名为“数据”的列中。
我想知道是否有一个简单的函数可以从这个 json 对象创建一个视图/表。
这样它将键单独作为列,然后用每一行的值填充它。
一个困难是不同的事件类型包含不同的嵌套的 json 对象。
这就是为什么我想为每个事件创建一个表/视图。
标签:
sql
firebase
google-cloud-firestore
google-bigquery
firebase-extensions
【解决方案1】:
我想知道是否有一个简单的函数可以创建一个视图/表
出这个json对象。所以它把钥匙分开作为
列,然后用每一行的值填充它。
是的,您可以按照扩展 documentation 中的说明使用 fs-bq-schema-views 脚本。
该脚本会根据您以 JSON 格式编写的架构配置生成原始变更日志的 BigQuery 视图。这很容易,只需按照说明进行操作。
一个难点是不同的事件类型包含不同的json
嵌套不同的对象。
您可以基于两种不同的模式创建两个不同的视图,一种用于每种类型的事件,并在查询视图时过滤记录。