将 json 格式数据加载到 google bigquery 性能问题

Question

我已将JSON 格式数据结构加载到 Google bigquery“嵌套”表中（我有 2 级嵌套“重复”记录）JSON 行的平均长度为 5000 个字符。 加载时间比将平面文件（总大小相同）加载到 Google bigquery 中要慢得多。

1. 将json 加载到嵌套记录时的“经验法则”是什么？

2. 如何提高我的表现？

3. 就性能查询而言，从嵌套表中检索日期是否也比平面表慢得多？

请帮忙，我发现很难接触到该领域有经验的“DBA”

问候

Answer 1

1. 我不知道 json 导入应该变慢的任何原因，但我们还没有对它们进行基准测试。

2. 如果性能很慢，最好将导入分成块并将多个源文件传递到加载作业中。

3. 从嵌套表中检索数据应该不会更慢（并且可能更快）。列式存储格式应该比相应的平面表更有效地存储您的嵌套数据。