使用 AvroIO 类读取运行时值

Question

我需要通过动态传递架构和文件路径来使用 AvroIO 在 Apache Beam 中读取 AVRO 文件。有什么方法可以将 ValueProvider 或侧面输入或其他任何东西传递给 AvroIO.read。

下面是我正在使用的代码：

PCollection<GenericRecord> records =p.apply(AvroIO.readGenericRecords(dynamicallyProvidedSchema)
       .from(dynamicallyProvidedFilePath));

Answer 1

AvroIO.read().from() 可以使用ValueProvider。对于动态提供的架构，Beam 2.2（目前正在发布）包括AvroIO.parseGenericRecords()，它可以让您完全避免指定架构，您只需将GenericRecord 中的函数指定为您的自定义类型。