LogStash Kafka 输出/输入不起作用

Question

我尝试将 logstash 与 kafka 代理一起使用。它不能集成在一起。

每个版本都是，

• logstash 2.4
• kafka 0.8.2.2 与 scala 2.10

kafka 输入配置文件为：

input { 
  stdin{
  }      
}
output{
  stdout {
    codec => rubydebug
  }

  kafka {
    bootstrap_servers => 10.120.16.202:6667,10.120.16.203:6667,10.120.16.204:6667'
    topic_id => "cephosd1"
  }
}

我可以列出来自 kafka 的主题 cephosd1。 标准输出也可以打印出内容。

但我无法从 kafka-console-consumer.sh 中读取任何内容。

Answer 1

我认为您遇到了兼容性问题。如果您检查 Logstash、Kafka 和 kafka 输出插件之间的 version compatibility matrix，您会看到 Logstash 2.4 中的 kafka 输出插件使用 Kafka 0.9 客户端版本。

如果您有 Kafka 代理 0.8.2.2，它与客户端版本 0.9 不兼容（反过来也可以）。您可以降级到 Logstash 2.0 或将 Kafka 代理升级到 0.9。