【问题标题】:Takes too long to export data from bigquery into Jupyter notebook将数据从 bigquery 导出到 Jupyter 笔记本需要很长时间
【发布时间】:2019-04-25 06:11:27
【问题描述】:

在 Jupyter Notebook 中,我尝试在 BigQuery 服务器上使用类似 sql 的查询从 BigQuery 导入数据。然后我将数据存储在数据框中:

import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="credentials.json"
from google.cloud import bigquery

sql = """
SELECT * FROM dataset.table
"""
client = bigquery.Client()
df_bq = client.query(sql).to_dataframe()

数据的形状为 (6000000, 8),一旦存储在数据帧中,就会使用大约 350MB 的内存。

查询sql,如果直接在BQ中执行,大约需要2秒。

但是,执行上面的代码通常需要大约 30-40 分钟,而且代码执行失败的情况通常会引发以下错误:

ConnectionError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')",))

总而言之,错误可能有以下三个原因:

  1. BigQuery 服务器执行查询需要很长时间
  2. 传输数据需要很长时间(我不明白为什么一个 350MB 的文件需要 30 分钟才能通过网络发送。我尝试使用 LAN 连接来消除服务器中断和最大化吞吐量,但没有帮助)
  3. 使用 BigQuery 中的数据设置数据框需要很长时间

很乐意了解问题所在,提前致谢!

【问题讨论】:

  • 40 分钟似乎确实很多......也许它是 http 传输层。我想知道您是否可以进行两个测试:首先,如果您在查询中将限制设置为 10000 行会发生什么?还是慢吗?另外,你能测试一下先把这些数据导出到 GCS gizzed,然后把它带到主机上,最后作为数据帧读取,它仍然很慢吗?
  • 现在有关于在 Jupyter 中设置 BigQuery 的官方 Google 文档。可以在此处找到文档:cloud.google.com/bigquery/docs/visualize-jupyter 我最近按照指南进行了设置,没有任何问题。关于运行时,它类似于在 Google Cloud Platform 中的 BigQuery 中运行它,可能会慢几分之一秒,这可能是由于身份验证方法造成的。

标签: python dataframe google-bigquery jupyter-notebook jupyter


【解决方案1】:

使用 bigquery 存储将大型数据查询从 bigquery 快速导入 pandas 数据帧。

工作代码sn-p:

import google.auth
from google.cloud import bigquery
from google.cloud import bigquery_storage

# uncomment this part if you are working locally
# import os
# os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="your_json_key.json"

# Explicitly create a credentials object. This allows you to use the same
# credentials for both the BigQuery and BigQuery Storage clients, avoiding
# unnecessary API calls to fetch duplicate authentication tokens.
credentials, your_project_id = google.auth.default(
    scopes=["https://www.googleapis.com/auth/cloud-platform"]
)

# Make clients.
bqclient = bigquery.Client(credentials=credentials, project=your_project_id,)
bqstorageclient = bigquery_storage.BigQueryReadClient(credentials=credentials)

# define your query
your_query = """select * from your_big_query_table"""

# set you bqstorage_client as argument in the to_dataframe() method.
# i've also added the tqdm progress bar here so you get better insight
# into how long it's still going to take
dataframe = (
    bqclient.query(your_query)
            .result()
            .to_dataframe(
                bqstorage_client=bqstorageclient,
                progress_bar_type='tqdm_notebook',)
)

您可以在此处找到有关如何使用 bigquery 存储的更多信息:
https://cloud.google.com/bigquery/docs/bigquery-storage-python-pandas

【讨论】:

    【解决方案2】:

    尝试使用 BigQuery Storage API - 将大型表下载为 pandas 数据帧的速度非常快

    https://cloud.google.com/bigquery/docs/bigquery-storage-python-pandas

    【讨论】:

      【解决方案3】:

      WSAETIMEDOUT错误表示连接方在一段时间后没有正确响应。您需要检查您的防火墙。

      关于:

      1. 在您测试时,查询需要 2 秒
      2. 检查您的防火墙
      3. 由于您的数据形状为 (6000000, 8),这将需要一些时间,具体取决于您使用的计算资源

      话虽如此,您可能会因为多维数组花费的时间太长而导致连接超时。

      您可以将查询和数据框分开并打印时间以更好地了解正在发生的事情。

          result = client.query(sql)
          print(datetime.datetime.now())
          df_bq = result.to_dataframe()
          print(datetime.datetime.now())
      

      【讨论】:

        【解决方案4】:

        如果上述方法没有帮助,可以将文件从 BQ 写入 GCS,然后从那里复制到您的服务器。

        或者,您可以在 GCE 虚拟机上运行笔记本并充分利用 Google 的带宽。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2020-05-02
          • 1970-01-01
          • 2019-08-12
          • 1970-01-01
          • 1970-01-01
          • 2016-04-08
          • 2020-11-12
          • 1970-01-01
          相关资源
          最近更新 更多