从数据文件解析 Avro 模式答案

【问题标题】：Avro schema parsing from data file从数据文件解析 Avro 模式
【发布时间】：2018-01-12 02:06:13
【问题描述】：

由于 avro 中的数据文件嵌入了架构，因此读者不想保留单独的 .avsc 文件来指定架构。我正在寻找一个以这种方式工作的 java 示例，但我找不到。有人，请帮我获取相同的代码示例。

Schema schema = new Schema.Parser().parse(new File("./AvroSchema/emp.avsc"));

DatumReader<GenericRecord> datumReader = new GenericDatumReader<GenericRecord>(schema);
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(new File("./AvroFileStore/empData.txt"), datumReader);

GenericRecord emp = null;
while (dataFileReader.hasNext()) {
    emp = dataFileReader.next(emp);
    System.out.println(emp);
}

在此示例中，我们使用 datumReader 将 avro 架构单独提供给 DataFileReader。

【问题讨论】：

标签： java avro

【解决方案1】：

GenericDatumReader 也有一个不带任何参数的构造器。只是不要将任何模式传递给它。当然，这仅适用于数据文件，不适用于未嵌入架构的数据流。

顺便说一句，一旦你构建了dataFileReader，你就可以调用它的getSchema() 方法来获取架构（如果需要）。

来源：Hadoop: The Definitive Guide by Tom White

【讨论】：