BigQuery 的原生 JSON 支持？答案

【问题标题】：Native JSON support for BigQuery?BigQuery 的原生 JSON 支持？
【发布时间】：2012-05-11 09:32:39
【问题描述】：

Google BigQuery 是否有计划实施原生 JSON 支持？

我正在考虑将 hive 数据 (~20T) 迁移到 Google BigQuery，但 Hive 中的表定义包含 BigQuery 不支持的地图类型。

例如，下面的 HiveQL：

select gid, payload['src'] from data_repository;

虽然，它可以通过使用正则表达式来解决。

【问题讨论】：

请注意，我们已经开始支持 JSON 数据摄取，并作为导出格式（请参阅：googledevelopers.blogspot.com/2012/10/got-big-json-bigquery-展开-data.html)

【解决方案1】：

自 2012 年 10 月 1 日起，BigQuery 支持以换行符分隔的 JSON 进行导入和导出。

【讨论】：

【解决方案2】：

最好的办法是在导入之前将所有类型强制转换为 csv，如果您有复杂的字段，请通过查询中的正则表达式将它们分解（如您所建议的那样）。

也就是说，我们正在积极调查对新输入格式的支持，并希望获得有关哪些格式最有用的反馈。底层查询引擎 (Dremel) 支持类似于 hive 地图类型的类型，但 BigQuery 目前并未公开用于提取嵌套记录的机制。

【讨论】：