如何将一个巨大的表作为一个文件从 BigQuery 导出到 Google 云存储桶中

Question

我正在尝试将一个巨大的表（2,000,000,000 行，大约 600GB 大小）作为单个文件从 BigQuery 导出到谷歌存储桶中。 Google's Documentation 中建议的所有工具都限制导出大小，并且会创建多个文件。 有没有一种不需要将整个表保存在内存中的pythonic方法？

Answer 1

虽然也许还有其他方法可以将其作为脚本，但推荐的解决方案是使用 Google Storage compose 操作合并文件。

你要做的是：

• 以 CSV 格式导出
• 这会产生许多文件
• 运行compose 操作，分为 32 个项目，直到合并最后一个大文件

所有这些都可以组合在一个云工作流中，有一个教程here。