BigQuery - 通过 UI 从云存储创建表会导致整数错误答案

【问题标题】：BigQuery - create table via UI from cloud storage results in integer errorBigQuery - 通过 UI 从云存储创建表会导致整数错误
【发布时间】：2016-01-30 05:59:08
【问题描述】：

我正在尝试测试 BigQuery，但在使用存储在谷歌云存储中的数据创建表时遇到了困难。我能够将数据减少到只有一个值，但这没有意义。

我有一个文本文件上传到谷歌云存储，其中只有一个整数值，177790884

我正在尝试通过 BigQuery 网络用户界面创建一个表，然后执行向导。当我到达架构定义部分时，我输入... ID:整数

加载总是失败... 错误：文件：0/行：1/字段：1：无效参数：177790884（错误代码：无效）遇到的错误太多。限制为：0。（错误代码：无效）作业 ID trusty-hangar-120519:job_LREZ5lA8QNdGoG2usU4Q1jeMvvU 开始时间 2016 年 1 月 30 日 12:43:31 结束时间 2016 年 1 月 30 日 12:43:34 目标表 trusty-hangar-120519:.onevalue 源格式 CSV 允许锯齿行 true 忽略未知值 true 源 URI gs:///onevalue.txt 架构
ID：整数

如果我使用 ID:STRING 模式加载，它可以正常工作。数字 177790884 不大于 64 位有符号整数，我真的不确定发生了什么。谢谢，克雷格

【问题讨论】：

您的文件可能存在可疑之处。您是否尝试过从头开始创建新文件，其中只有一个您在测试中使用的数字？它必须工作！它有效！

标签： unicode google-bigquery google-cloud-storage google-cloud-platform byte-order-mark

【解决方案1】：

您的输入文件可能包含可能导致 BigQuery 的 CSV 解析器失败的 UTF-8 字节顺序标记（文件开头的 3 个“不可见”字节表示编码）。

https://en.wikipedia.org/wiki/Byte_order_mark

我建议使用谷歌搜索特定于平台的方法来查看和删除字节顺序标记。（十六进制编辑器就可以了。）

【讨论】：

【解决方案2】：

问题肯定出在文件的编码上。我能够重现错误。
然后通过将“有问题的”文件保存为 ANSI（仅用于测试）来“修复”它，现在它已成功加载。

【讨论】：