【问题标题】:BigQuery Throwing Import Error, No Information ProvidedBigQuery 引发导入错误,未提供信息
【发布时间】:2013-06-26 01:23:20
【问题描述】:

我正在尝试将 CSV 文件导入到我的 BigQuery 表中。此导入过去有效,但现在我收到以下错误消息:

{"message":"遇到的错误太多。限制为:0。","re​​ason":"invalid"}

当我运行调试器时,所有其他字段都是空的。

这……没用。我不知道数据本身有任何问题,因为导出/导入数据没有改变。奇怪的是,当尝试使用以前的作业模板并通过 Web 控制台运行时,Web 控制台本身会挂起,并且一旦我点击蓝色的“提交”按钮,对话框就永远不会消失。

工作 ID:job_e0faf560d3df424ea74519e1b24a23f7

我正在生成 CSV 并将其导出到 Google Cloud Storage。我正在使用 AppEngine 并已切换到新的 Google Cloud Storage 客户端库。我已经使用 GcsFileOptions.getDefaultInstance() 上传了文件,并构建了我自己的 GSFileOptions 将内容类型设置为 CSV。

失败后,我从 Google Cloud Storage 下载了文件,更改了编码(尝试了 ASCII 和 UTF8),仍然得到相同的结果。

我正在使用 AppEngine 1.8.1.1 和 BigQuery 库 (google-api-services-bigquery-v2-rev89-1.15.0-rc)。这在以前按预期工作,所以我不确定发生了什么。欢迎任何建议。谢谢!

【问题讨论】:

    标签: google-app-engine csv google-bigquery data-import


    【解决方案1】:

    bigquery 作业中有两个错误字段。第一个是错误结果,它告诉您作业是否(以及为什么)失败。该错误导致您的情况是由于在导入过程中遇到太多输入错误而导致作业失败。

    第二个字段是错误流,它告诉您在作业期间遇到的错误。例如,如果您设置了 maxBadRecords 字段,则错误流中可能会出现错误,但实际作业可能会成功。

    我在 BigQuery 日志中查找了您的作业,发现错误流在第 6253 行指示错误:“列太少:预期有 80 列,但得到了 1 列。求助:http://goo.gl/RWuPQ"

    您能否验证第 6253 行是否正确?

    -- Jordan Tigani / BigQuery 工程师

    【讨论】:

    • 乔丹,感谢您查看日志。文件末尾似乎有一个额外的回车符!我会纠正这个问题,看看它是否能解决问题。有没有办法在退货中获取该错误消息?这对调试这些问题非常有帮助。谢谢,E
    • 嘿乔丹!这解决了问题。我还注意到我没有打印出所有的 ErrorProtobuffs,所以这就是我看不到错误的原因。希望下次能帮助到别人。谢谢!
    【解决方案2】:

    今天,应用引擎出现了一些普遍问题: “我们仍在调查 Google App Engine 的问题,主要是(但不限于)数据存储延迟。 我们将在接下来的两个小时内提供另一个状态更新。” https://groups.google.com/forum/#!topic/google-appengine-downtime-notify/1pJZnl4EMKk

    【讨论】:

    • 我的问题不在于导出步骤。这非常有效。我的问题是导入 BigQuery 步骤。你觉得这两件事有关系吗?谢谢!
    猜你喜欢
    • 1970-01-01
    • 2020-06-14
    • 2021-06-12
    • 2016-04-13
    • 1970-01-01
    • 1970-01-01
    • 2014-07-08
    • 1970-01-01
    • 2014-05-29
    相关资源
    最近更新 更多