将gz文件导入bigquery时出错答案

【问题标题】：error when importing gz files into bigquery将gz文件导入bigquery时出错
【发布时间】：2015-04-30 08:39:59
【问题描述】：

将 gzip 格式的制表符分隔文件导入 bigquery 时遇到错误

我得到的输出是：

root@a20c6fbdf9b5:/opt/batch/jobs# bq show -j bqjob_r5720e2f2267a5a5b_0000014d09571f27_1
Job infra-bedrock-861:bqjob_r5720e2f2267a5a5b_0000014d09571f27_1

  Job Type    State      Start Time      Duration   Bytes Processed
 ---------- --------- ----------------- ---------- -----------------
  load       FAILURE   30 Apr 08:00:44   0:02:05

Errors encountered during job execution. Bad character (ASCII 0) encountered: field starts with: <H:|\ufc0f\ufffd(>
Failure details:
 - File: 1 / Line:1 / Field:1: Bad character (ASCII 0) encountered:
   field starts with: <\ufff>
 - File: 1 / Line:3 / Field:1: Bad character (ASCII 0) encountered:
   field starts with: <\u0475\ufffd=\ufffd\ufffd\u03d6>
 - File: 1 / Line:4 / Field:1: Bad character (ASCII 0) encountered:
   field starts with: <-\ufffd\ufffdY\u049a\ufffd>
 - File: 1 / Line:6 / Field:1: Bad character (ASCII 0) encountered:
   field starts with: <\u018e\ufffd\ufffd\ufffd\ufffd>

我尝试手动下载文件，解压缩然后再次上传文件。未压缩的文件可以毫无问题地导入 bigquery。

这看起来像是带有 zip 文件的 bigquery 中的一个错误

【问题讨论】：

zip 还是 gzip？ BigQuery 使用 gzip，而不是 zip
很抱歉表述不一致，但正如标题所暗示的那样，它是扩展名为 .gz 的 gzip 文件，而不是 zip 文件
你能分享一个示例文件吗？

标签： google-bigquery

【解决方案1】：

检查作业配置，您包含一个非 gzip 文件作为第一个 uri，以 .../20150426/_SUCCESS 结尾。 BigQuery 使用第一个文件来确定是否启用了压缩。

假设此文件为空，您可以将其从加载请求中删除以解决此问题。如果此文件中有数据，请附加“.gz”后缀或重新排序此文件，使其不在 uri 列表中的第一个。

【讨论】：

谢谢，从要导入的文件集中排除该文件解决了问题