【发布时间】:2014-12-30 22:55:23
【问题描述】:
我有这样的数据:schema1, a1, a2, ..., an, schema2, b1, b2, ...., bm。我确切地知道每个模式有多少数据项。我可以将两个架构/数据写入一个 AVRO 文件,而不是两个吗?
dataFileWrite API 只提供 create()。在第一个模式的最后一个数据项之后,我没有 append() 来编写第二个模式。
【问题讨论】:
标签: avro
我有这样的数据:schema1, a1, a2, ..., an, schema2, b1, b2, ...., bm。我确切地知道每个模式有多少数据项。我可以将两个架构/数据写入一个 AVRO 文件,而不是两个吗?
dataFileWrite API 只提供 create()。在第一个模式的最后一个数据项之后,我没有 append() 来编写第二个模式。
【问题讨论】:
标签: avro
您应该使用 Schema.createUnion(schema1,schema2) 创建一个新的联合架构,并将其用作文件的写入器架构。读取数据时,如果您的文件中有两种类型,或者仅存在您知道的模式,则您可以再次使用联合模式。
【讨论】: