从某个 Java 对象生成 Avro Schema

Question

Apache Avro 为序列化提供了紧凑、快速、二进制数据格式、丰富的数据结构。但是，它需要用户为需要序列化的对象定义一个模式（在 JSON 中）。

在某些情况下，这是不可能的（例如：该 Java 对象的类有一些成员，其类型是外部库中的外部 Java 类）。因此，我想知道有没有一种工具可以从对象的 .class 文件中获取信息并为该对象生成 Avro 模式（例如 Gson 使用对象的 .class 信息将某些对象转换为 JSON 字符串）。

Answer 1

** 示例**

Pojo类

public class ExportData implements Serializable {
    private String body;
    // ... getters and setters
}

序列化

File file = new File(fileName);
DatumWriter<ExportData> writer = new ReflectDatumWriter<>(ExportData.class);
DataFileWriter<ExportData> dataFileWriter = new DataFileWriter<>(writer);
Schema schema = ReflectData.get().getSchema(ExportData.class);
dataFileWriter.create(schema, file);
for (Row row : resultSet) {
    String rec = row.getString(0);
    dataFileWriter.append(new ExportData(rec));
}
dataFileWriter.close();

反序列化

File file = new File(avroFilePath);
DatumReader<ExportData> datumReader = new ReflectDatumReader<>(ExportData.class);
DataFileReader<ExportData> dataFileReader = new DataFileReader<>(file, datumReader);
ExportData record = null;
while (dataFileReader.hasNext()){
    record = dataFileReader.next(record);
    // process record
}

Answer 2

这里是Generate an Avro Schema from POJO definition的方法

ObjectMapper mapper = new ObjectMapper(new AvroFactory());
AvroSchemaGenerator gen = new AvroSchemaGenerator();
mapper.acceptJsonFormatVisitor(RootType.class, gen);
AvroSchema schemaWrapper = gen.getGeneratedSchema();
org.apache.avro.Schema avroSchema = schemaWrapper.getAvroSchema();
String asJson = avroSchema.toString(true);

Answer 3

看看the Java reflection API。

获取架构如下所示：

Schema schema = ReflectData.get().getSchema(T);

请参阅example from Doug on another question for a working example。

此答案的功劳属于 Sean Busby。