Kafka C API 客户端中的发送者线程数

Question

我在 Linux 上为 C 使用 librdkafka-0.11.5。 我的 C/C++ 应用程序只是将 Kafka 数据发送到使用 ElasticSearch 驱动 Kafka 消费者的 Web 服务器。 看起来在生产者方面，Kafka 为每个 Unix 进程添加了 8（八）个内部线程。 这给我们带来了问题，因为我们对每个 Linux 机器的线程数有硬性限制。

有人知道为什么要添加 8 个线程吗？可能是因为我的 Linux 机器有 4 个 CPU，并且线程池是预先创建的，每个 CPU 有两个线程（只是推测）？ 我使用一个主题和六个分区。代理字符串有三个代理。

有什么方法可以减少这些添加的线程数？

问候， 尼克

Answer 1

当前的 librdkafka 设计为集群中的每个代理创建一个内部线程。

请参阅FAQ 了解更多信息。

我们正在考虑将其更改为 IO 线程或按需代理线程，但这要到 2019 年才能实现。