【发布时间】:2019-04-25 06:11:27
【问题描述】:
在 Jupyter Notebook 中,我尝试在 BigQuery 服务器上使用类似 sql 的查询从 BigQuery 导入数据。然后我将数据存储在数据框中:
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="credentials.json"
from google.cloud import bigquery
sql = """
SELECT * FROM dataset.table
"""
client = bigquery.Client()
df_bq = client.query(sql).to_dataframe()
数据的形状为 (6000000, 8),一旦存储在数据帧中,就会使用大约 350MB 的内存。
查询sql,如果直接在BQ中执行,大约需要2秒。
但是,执行上面的代码通常需要大约 30-40 分钟,而且代码执行失败的情况通常会引发以下错误:
ConnectionError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')",))
总而言之,错误可能有以下三个原因:
- BigQuery 服务器执行查询需要很长时间
- 传输数据需要很长时间(我不明白为什么一个 350MB 的文件需要 30 分钟才能通过网络发送。我尝试使用 LAN 连接来消除服务器中断和最大化吞吐量,但没有帮助)
- 使用 BigQuery 中的数据设置数据框需要很长时间
很乐意了解问题所在,提前致谢!
【问题讨论】:
-
40 分钟似乎确实很多......也许它是 http 传输层。我想知道您是否可以进行两个测试:首先,如果您在查询中将限制设置为 10000 行会发生什么?还是慢吗?另外,你能测试一下先把这些数据导出到 GCS gizzed,然后把它带到主机上,最后作为数据帧读取,它仍然很慢吗?
-
现在有关于在 Jupyter 中设置 BigQuery 的官方 Google 文档。可以在此处找到文档:cloud.google.com/bigquery/docs/visualize-jupyter 我最近按照指南进行了设置,没有任何问题。关于运行时,它类似于在 Google Cloud Platform 中的 BigQuery 中运行它,可能会慢几分之一秒,这可能是由于身份验证方法造成的。
标签: python dataframe google-bigquery jupyter-notebook jupyter