将 Scala 对象写入 Parquet 的最佳方法是什么？

Question

我有一个从 JSON 创建的 Scala 案例类，比如案例类 Person(age:Int, name:String)。我知道我无法将 JSON 写入 Parquet。

我可以将案例类直接写入 Parquet，还是需要使用另一种格式，如 Scrooge/Thrift 或 Avro？哪些 API 最适合用于此目的？

Answer 1

我认为你需要实现 ParquetWriteSupport 类来编写你的自定义类。