【问题标题】:400 Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 29274; errors: 1400 Error while reading data, error message: CSV table遇到太多错误,放弃。行数:29274;错误:1
【发布时间】:2019-12-11 09:27:08
【问题描述】:

我想使用 python 将数据加载到 bigQuery,但出现以下错误:

400 读取数据时出错,错误信息:CSV 表遇到太多错误,放弃。行数:29274;错误: 1. 请查看 errors[] 集合了解更多详情。

我已经尝试过像这个链接CSV Table Encountered Too Many Errors, Giving Up这样的步骤,但我没有权限在谷歌云平台上查看功能Transfer

我不知道错误发生在哪里以及如何解决?

作为参考,我在这个链接stackoverflow找到了解决办法但是看不懂。

【问题讨论】:

  • errors[] 集合中有什么?
  • 那不是显示error[] 收藏在哪里,我怎么知道?
  • 您可以尝试通过 webUI 加载数据并从那里检查 error[] 对象或从左侧顶部菜单中查看 Job History 以获取更多信息
  • 在这里同意@TamirKlein,而不是写入 BigQuery,而是将您的数据写入 .csv,然后手动上传。检查日志应该可以引导您解决问题,这可能是空值或第 29274 行周围的一些意外字符。
  • 如果您使用的是 Python 代码,那么您有类似 load_job = client.load_table_from_uri.... 的内容,您应该能够访问 errors[] 集合,例如 load_job.errors

标签: python csv google-bigquery


【解决方案1】:

您可能需要直接向 Google Cloud Platform Support 开具工单。在此之前,您可以按照article 尝试检查错误集合。

但要执行此操作,您需要对传输服务具有适当的权限(否则您的管理员必须执行此操作)。

您可以分配所需的权限,具体取决于已分配给您帐户的角色。所需的角色是“BigQuery 数据传输服务代理”。这个document 解释了如何为成员分配角色。

【讨论】:

  • 我通过像Error while reading data, error message: CSV table references column position 14, but line starting at position:546999 contains only 10 columns. 这样的工作历史得到了错误
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-12-31
  • 2015-08-16
  • 2014-12-04
  • 2017-04-14
  • 1970-01-01
相关资源
最近更新 更多