从 Google BigQuery 提取查询结果到 AWS s3答案

【问题标题】：Extracting query results from Google BigQuery into AWS s3从 Google BigQuery 提取查询结果到 AWS s3
【发布时间】：2018-05-30 16:39:08
【问题描述】：

我正在检查是否有更好的方法在 Google BigQuery 上运行查询并将结果导出到 AWS S3。阅读了一些关于它的信息，我发现有一种方法可以按照以下步骤操作：

但我的问题是，有没有办法避免创建外部表并将查询结果移动到 GCS？是否有另一种聪明/正确的方法来做同样的事情？

感谢您的帮助。

【问题讨论】：

【解决方案1】：

BigQuery 不（还？）支持导出查询结果 - 所以对您而言，只有首先实现结果的方法（您将其称为将查询结果导出到外部表）。

另一种可能的方法是使用 BQ API 并使用 tabledata.list - API ref 读取表 - 因此，如果说您的查询结果很小 (MB)，它可能是移动数据的更简单方法。但即使在这种情况下，您也需要在新表中实现结果 - 但无需导出到 GCS。

【讨论】：

嗯，这里的问题是查询结果是一些 GB，所以我认为这不会有帮助。就 Bigquery 的“查询导出”实用程序而言，我不知道有什么类似的东西，但这太棒了。
同意你的看法 - 但现在如果你的结果是 GB - 只有一种方法是将查询结果存储在表中 - 将表导出到 GCS - 从 GCS 复制到 AWS :(
我期待找到一些东西来避免这么多步骤，除了与每个步骤相关的成本。
已代表您创建了一个功能请求。请给它加星标，以便您可以收到有关此功能请求的更新，并毫不犹豫地添加其他 cmets 以提供所需实现的详细信息。您可以通过以下链接跟踪功能请求 - issuetracker.google.com/issues/111339864