如何将 BigQuery 表加载到 Cloud Storage

Question

我在 BigQuery 中有一个 32 GB 的表，我需要通过 Jupyter Notebook（使用 Pandas）进行一些调整并以 .txt 文件的形式导出到 Cloud Storage。

如何做到这一点？

Answer 1

您似乎可以only export 1 GB at a time，因此您最好的选择可能是查询前 1 GB 的行，然后查询接下来的 1 GB，依此类推，然后以这种方式单独保存它们。一旦您知道每行大约占用多少存储空间，就可以使用bq 工具编写所有这些内容。这有意义吗？

Answer 2

您可以使用 Google Cloud Platform Console 来执行此操作。

1. 在 Cloud Console 中转到 Bigquery。
2. 选择要导出的表并选择“导出”，然后选择导出到 GCS。
3. 由于您的表大于 1GB，请务必在文件名中添加通配符，以便 Bigquery 以大约 1GB 的块（即 export-*.csv）导出数据。

您不能以 CSV 格式导出嵌套和重复的数据。 Avro、JSON 和 Parquet（预览版）导出支持嵌套和重复数据。无论如何，当您尝试选择文件格式时，表单会告诉您是否可以。