kafka 无法与 logstash 连接答案

【问题标题】：kafka won't connect with logstashkafka 无法与 logstash 连接
【发布时间】：2017-02-28 05:27:39
【问题描述】：

我正在尝试使用 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html 将 kafka 连接到 logstash

我正在运行 kafka 和 zookeeper，（我已经通过在 python 中创建生产者和消费者来验证这一点），但是 logstash 不会检测到 kafka，

我已经安装了kafka输入插件，这是我的conf文件的样子：

    input {
  kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["divolte-data"]
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "divolte-data"
  }
}

任何帮助将不胜感激。

【问题讨论】：

如果你能告诉我们，如果有任何错误？你用的ES&`Kafka是什么版本的？
我已经尝试过 kafka 0.9 和 kafka .10 ，es 是 2.3 .. 我在 python 中创建 cosumer 并使用套接字将数据推送到 tcp 端口，并设置 logstash 以获取数据表单那个端口，它正在工作。
没有任何错误，logstash 启动正常，但无法消费来自 kafka 的任何消息。
我已经更新了答案。让我知道它是否有效！
当然..谢谢伙计..你的力量很强大。

标签： apache-kafka logstash elastic-stack logstash-configuration

【解决方案1】：

我想问题出在版本上。由于您在ES 2.3 上运行，因此在您的kafka 输入插件中使用bootstrap_servers 不兼容，该插件是从5.0 版本引入的。

根据doc，您应该使用zk_connect 而不是bootstrap_servers，如下所示：

kafka {
   zk_connect => "localhost:9092"
}

【讨论】：