如何从 kafka 中收到的消息中获取 Avro 模式对象？

Question

我尝试将我的 java 对象发布/使用到 kafka。我使用 Avro 架构。

我的基本程序运行良好。在我的程序中，我在生产者（用于编码）和消费者（解码）中使用我的模式。

如果我在接收方将不同的对象发布到不同的主题（例如：100 个主题），我不知道我收到了什么类型的消息？..我想从接收到的字节中获取 avro 模式并希望用它来解码.. 我的理解正确吗？如果是这样，我如何从接收到的对象中检索？

Answer 1

您不会在收到的字节中收到 Avro 架构——而且您也不想这样做。 Avro 的整个想法是将模式与记录分开，因此它是一种更紧凑的格式。我这样做的方式是，我有一个名为Schema 的主题。 Kafka 消费者进程做的第一件事就是从一开始就监听这个主题并解析所有的模式。

Avro 架构只是 JSON 字符串对象——您可以在 Schema 主题中的每条记录中存储一个架构。

至于确定哪个模式与哪个主题相关，正如我在 a previous answer 中所说，您希望每个主题有一个模式，仅此而已。因此，当您解析来自特定主题的消息时，您确切知道适用的架构，因为可能只有一个。

如果您从不重复使用架构，您可以将架构命名为与主题相同的名称。但是，在实践中，您可能会在多个主题上使用相同的模式。在这种情况下，您希望有一个将模式映射到主题的单独主题。您可以像这样创建 Avro 架构：

{"name":"SchemaMapping", "type":"record", "fields":[
  {"name":"schemaName", "type":"string"},
  {"name":"topicName", "type":"string"}
]}

您可以为每个主题发布一条记录，并将您的 Avro 编码映射到一个特殊主题（例如称为 SchemaMapping），并且在从头开始使用 Schema 主题之后，消费者将收听 @987654328 @ 然后它会确切地知道为每个主题应用哪个模式。