BigQuery 无法解析 avro 架构文件答案

【问题标题】：BigQuery Fails to parse an avro shcema fileBigQuery 无法解析 avro 架构文件
【发布时间】：2019-05-26 09:44:01
【问题描述】：

我需要使用 avro 架构文件在 Google 的大查询中创建一个空表，但没有这样做...

我已经编写了以下示例架构文件

{
   "namespace": "tutorialspoint.com",
   "type": "record",
   "name": "emp",
   "fields": [
      {"name": "name", "type": "string"},
      {"name": "address", "type": "string"}
   ]
}

并且使用 BigQuery 控制台无法创建表并出现以下错误：

读取数据时出错，错误消息：Apache Avro 库无法解析标头并出现以下错误：数据文件无效。魔术不匹配：/subrange//bigstore/bigquery-prod-upload-us

【问题讨论】：

标签： google-bigquery avro

【解决方案1】：

BigQuery 支持加载 Avro 文件，如 here 所定义。没有 avro 架构文件的正式定义，因此 BigQuery 不支持。如果您想在 BigQuery 中使用架构创建一个空表，可以使用 BigQuery JSON schema file。

【讨论】：