将数组文件加载到大查询

Question

我正在寻找将以下数组上传到大查询表的有效方法 采用这种格式：

大查询列（示例）

event_type: video_screen
event_label: click_on_screen
is_ready:false
time:202011231958
long:1
high:43
lenght:0

**

数组对象

**

[["video_screen","click_on_screen","false","202011231958","1","43","0"],["buy","error","2","202011231807","1","6","0"],["sign_in","enter","user_details","202011231220","2","4","0"]]

我想了几个选项，但似乎都不是最佳做法。

选项 A：将以下文件上传到 Google 存储，然后创建与此存储桶相关的表 - 由于文件格式问题，Google Bigquery 无法解析来自 Google 存储桶的数组。

选项 B：后端 (node.js) 使用将文件结构更改为 CSV 并将其直接上传到 Bigquery - 由于延迟而失败（数组很长，比我的示例多）。

选项 C：使用 Google Appcript 获取数组对象并将其插入 Bigquery - 我没有找到简单的代码，Google 存储没有连接到 Appscript 的 API。

有人处理过这种情况并可以分享他的解决方案吗？这种情况下的最佳做法是什么？如果你有这方面的代码，那就太好了。

Answer 1

将文件从 GCS 加载到 BigQuery 到具有 1 个单一 string 列的表中。所以你得到了 100K 行和一列。

基本上，您将拥有一个在字符串中包含 JSON 的表。

使用JSON_EXTRACT_ARRAY将JSON数组处理成elements

然后稍后将每个位置提取到其对应的变量/列中并将其写入表

这是一个演示：

with t as (
    select '[["video_screen","click_on_screen","false","202011231958","1","43","0"],["buy","error","2","202011231807","1","6","0"],["sign_in","enter","user_details","202011231220","2","4","0"]]' as s
),
elements as (
select e from t,unnest(JSON_EXTRACT_ARRAY(t.s)) e
)
select 
    json_extract_scalar(e,'$[0]') as event_type ,
    json_extract_scalar(e,'$[1]') as event_label,
from elements

输出是：