以编程方式运行 BigQuery 查询并上传到表中的最佳方式

Question

我必须交叉连接 2 个当前失败的相当庞大的数据集。我想将数据集分成逻辑块。我计划使用 Python 按顺序运行查询，其中的变量在每次循环运行期间都会发生变化，例如：

while x <= 100:
  #Code to query in BigQuery: [SELECT * FROM table1 CROSS JOIN table2 WHERE table1.field = 'x'] then write the query results to a JSON file or upload directly in BigQuery
  x += 1 #X is a counter

看起来来自单个 bigquery 查询的响应是一个 JSON 文件，但我一直在弄清楚如何上传并将其附加到表中。当我尝试在 BigQuery 中手动上传 JSON 文件时，它会出错 - 我不完全确定如何格式化它以便 BigQuery 正确读取它。

问题： 1. 这是一个好方法吗？ 2. 如何准备 JSON 文件以使其在 BigQuery 中成功上传？ 3. 自动执行此操作的最佳方法是什么？ （大概是通过API）

Answer 1

可在此处找到有关在 BigQuery 中提取数据的信息： https://cloud.google.com/bigquery/preparing-data-for-bigquery

但是，我不确定您的场景和您的问题是如何联系起来的。为什么需要以 JSON 格式上传数据才能运行此查询（假设 table1 和 table2 已经在 BQ 中）？

另外，为什么需要执行交叉连接？交叉连接可能非常昂贵，因为如果您交叉连接两个大型表，您的输出将变得难以管理。 BQ 中交叉连接的主要用途是通过交叉连接模拟更复杂的连接条件（例如<=），然后立即过滤输出。不过，即使这样也很昂贵，所以我鼓励您考虑其他方法来计算您想要的答案。