Nifi，如何通过 Kafka avro 文件生成每个文件有多个记录

Question

我创建了一个管道来处理单个 json 文件（一个包含 5890 个元素的向量，每个元素一个记录）并通过 Kafka 以 avro 格式发送它。生产者工作正常，然后当我与消费者一起阅读时，每条记录都会得到一个流文件（一个 avro 文件）。 5890 个 avro 文件。如何在单个 avro 文件中设置或合并更多记录？

我只是使用 PublishKafkaRecord_0_10 1.5.0（jsonTreeReader 1.5.0 和 AvroRecordSetWriter 1.5.0）和 ConsumeKafka_0_10 1.5.0。

Answer 1

首先，NiFi 1.5.0 是从 2018 年 1 月开始的。请考虑升级，因为它已经非常过时了。 NiFi 1.15.3 是今天的最新版本。

其次，*Kafka_0_10 处理器适用于非常旧版本的 Kafka - 您真的使用 v0.10 的 Kafka 吗？您有以下 Kafka 版本的处理器：

• *Kafka_1.0 用于 Kafka 1.0+
• *Kafka_2.0 适用于 Kafka 2.0+
• *Kafka_2.6 适用于 Kafka 2.6+。

如果您提供输入和期望输出的示例以及您实际尝试实现的目标，将会很有用。

如果您希望在 NiFi 中使用这些消息，并且想要一个包含许多消息的 FlowFile，您应该使用 ConsumeKafkaRecord 而不是 ConsumeKafka。这将使您可以控制每个“文件”要查看多少条记录。

如果您的消费者不是 NiFi，那么要么他们需要合并，要么您需要在生产时将所有记录捆绑到一条更大的消息中。然而，这并不是 Kafka 的真正意义所在，因为它不适合处理大型消息/文件。