如何将 Avro 结构转换为 SchemaRDD 并返回？

【问题标题】：How to convert Avro structure to SchemaRDD and back?如何将 Avro 结构转换为 SchemaRDD 并返回？
【发布时间】：2014-09-12 06:39:03
【问题描述】：

有没有办法将Avro 结构转换为SchemaRDD？我在 https://issues.apache.org/jira/browse/SPARK-2736 中看到了 JavaRDD 的示例，但找不到任何东西来创建 SchemaRDD。

有一个链接显示如何将 SchemaRDD 转换为 Avro，但我想知道 Spark 1.1 中是否提供了一些东西

【问题讨论】：

【解决方案1】：

是的，有一个单独的包可以让你这样做：https://github.com/databricks/spark-avro

到目前为止，它允许您同时执行 Avro -> SparkSQL 和 SparkSQL -> Avro。

不太可能将其添加到 Spark 本身以控制项目范围，但是在 Spark 之外开发了许多有用的 Spark 包。更多信息请访问http://spark-packages.org/

【讨论】：