【问题标题】:Slow inserts with bq + Backend Error带有 bq + 后端错误的慢速插入
【发布时间】:2012-07-11 09:48:52
【问题描述】:

我们在将数据插入 BigQuery 时遇到了问题。 我们位于荷兰。

命令:
adm@la478 ads_csv $ time bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
加载操作中的 BigQuery 错误:后端错误

指标:
真正的 4m35.997s
用户 0m0.963s
系统 0m0.169s

文件大小:
-rw-rw-rw- 1 管理员 39M 7 月 10 日 17:02 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
200MB 未压缩

你能建议使用做什么吗?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    我正在我们的后端调查此问题,但如果您通过 google 存储暂存导入,您的运气可能会更好(尤其是来自欧洲的)。如果你运行gsutil cp ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz gs://your_bucket/ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz,你可以将bq命令行改为:

    bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad gs://your_bucket/ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz

    我正在我们的日志中查找您的作业,看起来最近有很多加载作业因“TOO_MANY_ERRORS”而失败。如果您使用bq ls -jbq show -j <job_id>,您可以获得有关这些的更多信息。

    【讨论】:

      猜你喜欢
      • 2013-11-27
      • 1970-01-01
      • 2018-11-17
      • 1970-01-01
      • 2017-07-20
      • 2013-09-03
      • 2014-10-30
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多