卡夫卡：消费者崩溃答案

【问题标题】：Kafka: Consumer Crashing卡夫卡：消费者崩溃
【发布时间】：2017-01-07 05:47:39
【问题描述】：

我继承了一些我正在实施到另一个项目中的 Kafka 代码并遇到了一个问题...在消费者收到来自生产者的 3995 条消息后，它崩溃并给出以下错误：

ERROR Error while accepting connection (kafka.network.Acceptor) 
java.io.IOException: Too many open files

Information about data being sent:
Very bursty around the time of crash
Always crashes at 3995

我在 Centos 虚拟机上运行它，我已经轻松地通过它运行了其他较小的数据集。感谢您的宝贵时间！

【问题讨论】：

实际崩溃的是什么；生产者、经纪人还是消费者？
@NipunTalukdar 生产者崩溃了，我相信消费者因为生产者崩溃而崩溃

标签： java apache-kafka message-queue

【解决方案1】：

“打开的文件太多”你可以输入'lsof | wc -l' 在你的 linux 中知道打开了多少文件。

关注guide 增加打开的文件数：

已达到最大文件数，如何解决此问题？许多应用程序（例如 Oracle 数据库或 Apache Web 服务器）需要这个范围相当高。所以你可以通过在内核变量/proc/sys/fs/file-max中设置一个新值来增加打开文件的最大数量，如下（以root身份登录）：

sysctl -w fs.file-max=100000

【讨论】：