如何从 .Thrift 文件的结构对象创建 Spark DataFrame

【问题标题】：how can i create Spark DataFrame From .Thrift file's struct Object如何从 .Thrift 文件的结构对象创建 Spark DataFrame
【发布时间】：2019-01-20 23:09:03
【问题描述】：

我试过了

val temp = Seq[ProcessAction]()  // ProcessAction is declared in Thrift
val toDF = temp.toDF()

我收到了错误

scala.ScalaReflectionException: none 是一个术语

如果我使用案例类对象而不是 ProcessAction 我可以获得 DataFrame...

有什么办法可以摆脱这个错误？？

【问题讨论】：

标签： scala apache-spark apache-spark-sql thrift

【解决方案1】：

Parquet 文件了解 Thrift 编码对象，因此您可以使用 ThriftParquetWriter 加载 Parquet 文件，然后使用 Spark SQL 或其他工具将这些对象放入 DataFrame。

https://github.com/apache/parquet-mr/blob/master/parquet-thrift/src/main/java/org/apache/parquet/thrift/ThriftParquetWriter.java

【讨论】：