将 CSV 上传到 BigQuery 失败

Question

我已经使用 bigquery 上传系统超过 3 个月了，我每隔一小时将数据推送到 bigquery，它一直运行良好。但是从昨天开始，我所有的上传都失败了。 bigquery 控制台上的错误显示“列太少：预期 11 列但得到 9 列”，第九个字段有一个换行符，它在双引号内。这在过去 3 个月里一直有效，从昨天开始就失败了。有帮助吗？

Answer 1

昨天我们开始强制禁止引用换行符，除非通过 allowQuotedNewlines 标志。 如果您使用的是 bq 工具，则可以添加 --allow_quoted_newlines 标志。如果你使用 java，你可以设置这个here。该标志记录在here。

默认情况下不允许带引号的换行符使我们可以更有效地导入 csv 文件，因为我们可以将它们拆分为多个部分并并行导入。这转化为更快的导入，并允许我们扩展到更大的导入。