Logstash-5.X Kafka 输入插件：没有从 kafka 主题读取消息答案

【问题标题】：Logstash-5.X Kafka Input plugin : no message read from kafka topicLogstash-5.X Kafka 输入插件：没有从 kafka 主题读取消息
【发布时间】：2023-03-22 15:46:01
【问题描述】：

计划将我的 ELK 设置升级到 5.x，同时我尝试在新环境中的转发器和 logstash 服务器之间添加 kafka 消息队列。

转发器向 kafka 发送消息没有问题。我通过 kafka 消费者脚本进行了验证。

但是当我使用 logstash-kafka-input 插件从 kafka 中提取消息时，它没有写入任何消息。我是否需要在我的配置中添加/启用任何特定设置？

我的 logstash 简单配置：

input {
kafka{
    topics => ["weblogs"]
    bootstrap_servers => "10.11.12.202:9092"
}
}

output {
  stdout { codec => rubydebug }
 file {
                 path => "/tmp/stdout.log"
           }
}

关于主题的 Kafka Consumer 脚本输出：

[root@logstash kafka_2.11-0.10.2.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic weblogs
10.11.12.169 - - [27/Apr/2017:13:50:26 +0000] "GET / HTTP/1.0" 302 287 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
192.168.10.11 - - [27/Apr/2017:13:50:29 +0000] "GET / HTTP/1.0" 302 281 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
10.11.12.169 - - [27/Apr/2017:13:50:29 +0000] "GET / HTTP/1.0" 302 291 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
10.11.12.169 - - [27/Apr/2017:13:50:32 +0000] "GET / HTTP/1.0" 302 289 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"

【问题讨论】：

你在logstash的日志中看到了什么？
除了logstash 启动事件消息之外没有其他日志消息。请有任何想法
请以调试（/usr/share/logstash# bin/logstash -f path/to/logstash.conf --log.level debug）模式启动logstash并共享日志。
@berrytchaks 请找到调试消息paste.ubuntu.com/24630775
有机会检查一下。请帮助解决这个问题。提前致谢

标签： apache-kafka logstash logstash-configuration

【解决方案1】：

这是我让它工作的基本配置。

input {
  kafka { 
        bootstrap_servers =>["kafkaIp:9092"]
        topics => ["topic1"]
        codec => "json"
        group_id => "logstashgroup"
  }
}
output {
    elasticsearch {
      hosts => ["http://elasticsearchIp:9200"]
      manage_template => true
      index => "indexname"
    }
}

希望这会有所帮助。

【讨论】：

【解决方案2】：

这是从 kafka 获取输入并将其转发到 elasticsearch 的基本 logstash 配置。

input {
 kafka {
    bootstrap_servers =>["kafka1:9092"]
    topics => ["kafka-topic"]
    codec => json {}
}
}

output {
elasticsearch {
    hosts => "elasticsearch:9200"
    manage_template => false
    index => "kafka-%{+YYYY.MM.dd}"
}
}

【讨论】：