将数据从 csv 文件加载到大查询中时 Json 模式文件的目的答案

【问题标题】：Purpose of Json schema file while loading data into Big query from a csv file将数据从 csv 文件加载到大查询中时 Json 模式文件的目的
【发布时间】：2018-05-08 11:40:47
【问题描述】：

有人可以通过说明在使用 bq 命令将文件加载到 BQtable 时提供 json 模式文件的目的来帮助我。有什么优点？

此文件是否有助于通过避免任何列交换来维护数据完整性？

问候，斯里坎特

【问题讨论】：

标签： google-bigquery

【解决方案1】：

指定 JSON 架构（而不是依赖自动检测）意味着您可以确保获得正在加载的每个列的预期类型。如果您有如下所示的数据，例如：

1,'foo',true
2,'bar',false
3,'baz',true

架构自动检测会推断出第一列的类型是INTEGER（又名INT64）。不过，也许您计划在未来加载更多数据，看起来像这样：

3.14,'foo',true
1.59,'bar',false
-2.001,'baz',true

在这种情况下，您可能希望第一列的类型为 FLOAT（又名FLOAT64）。如果您在加载第一个文件时提供架构，则可以为该列显式指定 FLOAT 类型。

【讨论】：

感谢 Elliott，假设我已经创建了一个带有架构的 BQ 表，并且我每天都会收到 CSV 数据文件，将其上传到 GCS 然后将其加载到 BQ 表中，是否有必要提供 JSON 架构每天将数据推送到此表中的结构？
你应该不需要。