如何使用 Apache Nifi 在多个节点上运行 Kafka Consumer 处理器实例答案

【问题标题】：How can I run Kafka Consumer processor instance on multiple nodes with Apache Nifi如何使用 Apache Nifi 在多个节点上运行 Kafka Consumer 处理器实例
【发布时间】：2019-08-04 15:52:28
【问题描述】：

目前我们正在使用 Apache NiFi 通过 Kafka 消费者消费消息。 kafka消费者的输出连接到hive处理器。

我正在研究如何在 nifi 集群上运行 kafka 消费者实例。

我有 3 个 nifi 集群节点和一个具有 3 个分区的 kafka 主题，我希望 kafka 消费者能够在每个节点上运行，以便每个消费者可以从一个主题分区轮询消息。

启动 kafka 消费者处理器后，我只能看到 kafka 消费者总是在单个节点上运行，而不是在所有节点上运行。

有没有我遗漏的配置？

【问题讨论】：

你有多少个 kafka 经纪人？您是否在“ConsumeKafka”处理器上指定了所有这些？
我的Kafka集群有20多个broker，我都在ConsumeKafka处理器中配置好了

标签： apache-kafka apache-nifi

【解决方案1】：

NiFi 使用 Apache Kafka 客户端来执行消费者到分区的分配。当您启动处理器时，假设您将其设置为 1 个并发任务，那么您应该在集群的每个节点上拥有 1 个使用者，并且每个使用者都应该被分配一个不同的分区。

https://bryanbende.com/development/2016/09/15/apache-nifi-and-apache-kafka

【讨论】：