使用 bigquery 下载数据答案

【问题标题】：Download data using big query使用 bigquery 下载数据
【发布时间】：2018-07-03 18:31:04
【问题描述】：

我有一个非常大的表（大约 100 亿行）并且可以访问大查询。我试过Select * from table。它返回所有值，我想将此数据下载到我的本地计算机。我无权访问存储桶。我尝试使用 GUI，只有 16000 行的限制。我尝试运行查询bq extract table，但它需要存储桶的URI。

谁能指出我下载这些数据的正确方向。

【问题讨论】：

标签： python google-cloud-platform google-bigquery google-cloud-storage

【解决方案1】：

从 BigQuery 导出数据的正确方法是将其作为文件导出到 bq extract table 作业中的 Google Cloud Storage (GCS)。

桶的URI 意味着您需要在 GCS 中创建一个桶，以便它可以托管输出文件 - 您可以稍后下载。

应该全部解释在：https://cloud.google.com/bigquery/docs/exporting-data

【讨论】：

我早些时候在堆栈溢出中看到了这个答案。在我的问题中，我提到我无权访问 GCS 中的存储桶。我正在寻找其他方法来获取数据。
你为什么不能访问 GCS？
这不是我个人的，我只有观众访问权限。我想在不要求访问的情况下下载此表。如果没有其他解决方案，那么我会要求访问存储桶。
好的。您可以将表导出到任何 GCS 存储桶。如果您可以查询 BigQuery，那么您已经有一个 GCP 帐户 - 您可以使用该 GCP 帐户创建自己的个人存储桶，与在 BigQuery 中托管数据的项目无关。您无需为此“请求存储桶访问权限”。