如何将数据集上传到谷歌云平台？如何处理数据类型？答案

【问题标题】：How to upload dataset into Google cloud platform? How to deal with datatypes?如何将数据集上传到谷歌云平台？如何处理数据类型？
【发布时间】：2019-07-24 06:43:53
【问题描述】：

将我的数据集从 Google 云端硬盘上传到 Google 云平台时，我未能编辑架构。每次我上传数据集时，都会要求我编辑模式。例如，column: yearinjob 是 float 类型。但是在执行查询 SELECT * FROM ... 读取表格时总是显示错误：XXX.demo1.wkfc3，错误消息：无法将值转换为浮点数。第 1888 行；第 19 栏。

我将数据类型的架构更改为整数、数字，但除了字符串之外没有其他工作。

谁能帮帮我？

【问题讨论】：

我想知道第 1888 行是什么；第 19 列。
对于我的数据集，它是工作数据中的年份，例如 1.1、1.2 年份。这意味着雇主为公司工作的时间。但是，BigQuery 不允许从 value 转移到 float。后来我把它改成了字符串，然后就可以了。但是为了以后的计算，就麻烦了。
你能分享更多关于你的架构的信息吗？当您尝试 SELECT 语句时，您是否验证过您的数据集已经更新？看来问题与Dataset的更新有关，Data types与schema不同。
在上传数据时，似乎我们应该先验证架构。直到我编辑了所有模式以满足标准，我终于可以将数据导入项目作为数据源。我不知道为什么 BigQuery 无法自动识别架构，尤其是数据类型本身。我通过不时上传数据集一次又一次地更改数据类型。

标签： google-bigquery

【解决方案1】：

您可以确保您上传的数据集中的信息与您的Specified Schema 一致。

当您使用 Schema auto-detection 时，BigQuery 通过选择数据源中的随机文件并扫描多达 100 行数据以用作代表性样本来启动推理过程。 BigQuery 然后检查每个字段并尝试根据示例中的值为该字段分配数据类型。

检查第 1888 行的值；第 19 列与该字段的指定类型匹配。这可能是“无法将值转换为浮点数”错误的原因。

此文档可能会有所帮助。

这是Data Types 和允许值的文档。
这是关于managing datasets。

【讨论】：