【问题标题】:unable to load csv file from GCS into bigquery无法将 csv 文件从 GCS 加载到 bigquery
【发布时间】:2016-07-18 13:25:28
【问题描述】:

我无法将 500mb 的 csv 文件从谷歌云存储加载到大查询,但我收到了这个错误

Errors:
Too many errors encountered. (error code: invalid)
Job ID  xxxx-xxxx-xxxx:bquijob_59e9ec3a_155fe16096e
Start Time  Jul 18, 2016, 6:28:27 PM
End Time    Jul 18, 2016, 6:28:28 PM
Destination Table   xxxx-xxxx-xxxx:DEV.VIS24_2014_TO_2017
Write Preference    Write if empty
Source Format   CSV
Delimiter   ,
Skip Leading Rows   1
Source URI  gs://xxxx-xxxx-xxxx-dev/VIS24 2014 to 2017.csv.gz 

我已将 500mb 的 csv 文件压缩到 csv.gz 以上传到 GCS。请帮我解决这个问题

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    您的工作的内部详细信息显示读取 CSV 文件的第 1 行时出错。您需要进一步调查,但可能是您的标题行不符合文件其余部分的架构,因此我们试图将标题中的字符串解析为整数或布尔值或类似的东西。您可以设置skipLeadingRows 属性以跳过此类行。

    除此之外,我会检查您的数据的第一行是否与您尝试导入的架构相匹配。


    另外,很遗憾,您收到的错误消息非常无用,因此我在内部提交了一个错误,以使您在这种情况下收到的错误更有帮助。

    【讨论】:

    • 我已经选择 Header rows to skip 选项为 1,因为我正在 bq 浏览器工具中上传文件.....还有其他解决此错误的建议吗??
    • 啊,如果您已经跳过了标题行,那么您可能需要检查文件的第二行。该行中的数据是否与您在作业中提供的架构相匹配(例如正确的字段数)?
    猜你喜欢
    • 2021-11-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多