如何从 Java 中的 Parquet 文件中读取特定列

【问题标题】：How to read specific columns from a Parquet file in Java如何从 Java 中的 Parquet 文件中读取特定列
【发布时间】：2018-06-12 02:09:35
【问题描述】：

我正在使用一个知道如何将我的自定义对象“T”写入 Parquet 的 WriteSupport。我只对写入 Parquet 文件的自定义对象的 100 列中的 2 或 3 个 特定列 感兴趣。

大多数在线示例扩展了 ReadSupport 并读取整个记录。希望在不使用 Spark、Hive、Avro、Thrift 等工具的情况下完成此操作。

Java 中的示例，读取 Parquet 中自定义对象的选定列？

【问题讨论】：

标签： apache parquet columnstore

【解决方案1】：

这篇文章可能会有所帮助。

Read specific column from Parquet without using Spark

如果您只想读取特定列，则需要在 ParquetReader 构建器接受的配置上设置读取模式。（这也称为投影）。

在您的情况下，您应该能够在 AvroParquetReader 构建器类上调用 .withConf(conf)，并在传入的 conf 中调用 conf.set(ReadSupport.PARQUET_READ_SCHEMA, schema) 其中 schema 是 String 中的 avro 模式表格。

【讨论】：