Spark SQL：处理模式演变

Question

我想读取 2 个相同数据集但具有架构演变的 avro 文件

1. 第一个 avro 文件架构：{String, String, Int}
2. 第二次 avro 文件架构演变：{String, String, Long}

(Int 字段进化到 long) 我想使用 sparkSQL 读取这两个 avro 文件以存储在数据框中。

要读取 avro 文件，我正在使用数据块的“spark-avro” https://github.com/databricks/spark-avro

如何有效地做到这一点。

Spark 版本：2.0.1 斯卡拉。 2.11.8

PS。这里的例子我只提到了2个文件，但在实际场景中每天都会生成文件，所以有1000多个这样的文件。

提前谢谢你:)

Answer 1

使用类似的联合

{string,string, [int, long]} 

对您来说是一个有效的解决方案吗？它应该允许读取新旧文件。