【发布时间】：2016-05-24 23:44:51
【问题描述】：
从我在这些示例中看到的情况来看，它只能通过 Gson 实现。是否可以通过 Spark 连接器将 Avro 对象直接加载到 BigQuery 表中？当 avro 规范开始超越简单的原始值时，从 Avro 转换为 BigQuery Json 变得很痛苦。 （例如工会）
干杯
【问题讨论】：
标签： apache-spark google-bigquery avro
【发布时间】：2016-05-24 23:44:51
【问题描述】：
不通过 Spark 连接器，但 BigQuery 支持直接加载 AVRO 文件：https://cloud.google.com/bigquery/loading-data#loading_avro_files
【讨论】：
-
谢谢，我想这行得通。但是，由于 Google 使用 Avro C++ 库，很可能会有一些我似乎已经遇到的警告。你知道这是否记录在任何地方？我的大多数列都是带有一些联合的原始类型。我也在使用 Snappy 压缩格式。
-
我不确定您遇到了哪些警告，但总的来说，原始类型和 Snappy 压缩都受支持。对于具体的问题，最好在code.google.com/p/google-bigquery提交bug
-
C++ 库和 BQ 都支持所有 Avro 数据类型（有一些转换，例如固定为字节）。不支持使用 snappy 压缩的数据块是正确的。 Deflate 是 C++ 库支持的唯一编解码器。
-
谢谢@HuaZhang。我可以看到这里列出的支持。 issues.apache.org/jira/browse/AVRO-1748.