【问题标题】:Export Google BigQuery data to Python Pandas dataframe将 Google BigQuery 数据导出到 Python Pandas 数据框
【发布时间】:2014-12-17 03:33:50
【问题描述】:

我一直在研究如何将 BigQuery 数据导出到 Pandas。 有两种方法:

  1. 将文件导出到 CVS 并加载 - https://cloud.google.com/bigquery/exporting-data-from-bigquery

  2. 直接将数据拉入pandas框架。这似乎不起作用,但这是方法 - pandas.io.gbq.read_gbq(query, project_id=None, index_col=None, col_order=None, reauth=False) 。 gbq 好像已经停产了?

有人可以建议最好和最有效的方法吗?

谢谢。

【问题讨论】:

标签: python pandas google-bigquery


【解决方案1】:

gbq.read_gbq 方法绝对适用于 pandas .15.0-1,因为我刚刚从 .14.0-1 升级到检查(Windows 7)。如果您使用的是 Python,我绝对会推荐使用此方法将数据从 Google BigQuery 获取到数据框中,因为它几乎用于我所有的分析工作。

如果没有更多信息,很难说如何解决您的问题,但我会先检查身份验证流程是否在您登录到您的 Google 帐户的浏览器中完成,然后从那里进行故障排除。在您的第一个身份验证流程 (oauth2client.tools.run) 上有一个弃用警告,但一切仍然有效。

除此之外,我会尝试以下示例:http://pandas-docs.github.io/pandas-docs-travis/io.html#io-bigquery

仅供参考,在当前的 dev 分支中,正在添加 Gcloud 身份验证选项,以使无头身份验证更加方便。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-11-13
    • 1970-01-01
    • 2018-07-30
    • 2017-12-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多