Logstash 不通过 Kafka 将日志转发到 ES答案

【问题标题】：Logstash not forwarding logs to ES via KafkaLogstash 不通过 Kafka 将日志转发到 ES
【发布时间】：2017-04-18 08:34:31
【问题描述】：

我正在使用 ELK 5.0.1 和 Kafka 0.10.1.0 。我不确定为什么我的日志没有转发我安装了 Kafkacat 并且成功地能够从安装了 Kafka 集群的所有 3 台服务器中生成和使用日志。

shipper.conf

input {
    file {
            start_position => "beginning"
            path => "/var/log/logstash/logstash-plain.log"
            }
}

 output {
 kafka {
    topic_id => "stash"
    bootstrap_servers  => "<i.p1>:9092,<i.p2>:9092,<i.p3>:9092"
  }
}

receiver.conf

input {
kafka {
        topics => ["stash"]
        group_id => "stashlogs"
        bootstrap_servers  => "<i.p1>:2181,<i,p2>:2181,<i.p3>:2181"

}
}

 output {
    elasticsearch {
       hosts => ["<eip>:9200","<eip>:9200","<eip>:9200"]
       manage_template => false
       index => "logstash-%{+YYYY.MM.dd}"
  }
 }

日志：在 logstash-plain.log 中获得以下警告

[2017-04-17T16:34:28,238][WARN ][org.apache.kafka.common.protocol.Errors] Unexpected error 
code: 38.
[2017-04-17T16:34:28,238][WARN ][org.apache.kafka.clients.NetworkClient] Error while fetching 
metadata with correlation id 44 : {stash=UNKNOWN}

【问题讨论】：

标签： apache-kafka logstash elastic-stack

【解决方案1】：

您的引导服务器似乎正在使用 zookeeper 端口。尝试使用 Kafka 端口（默认 9092）

【讨论】：

感谢您，这是我的主要疏忽。我修复了它，但它仍然无法正常工作。我没有看到任何错误。我有 6.2.7 作为 Kafka 版本的 logstash-input-kafka ： 0.10.1.1 ELK 在 5.0.1 。不太确定还能做什么。
嗯可能会提高日志级别以进行调试。不确定这是否是 Kafka 问题，但如果您无法连接到 Kafka，有时您需要调试以了解原因。
使用 logstash-input-kafka 5.1.1 并将 LS 撞到 5.1.1 我得到以下错误。我关闭了 kafka 和 zookeeper 并删除了所有消费者偏移量并重新启动，但我仍然收到此错误。当我将输入插件升级到 6.2.7 时，我没有看到任何错误，但没有任何反应。真的很奇怪。 03:28:22.619 [Ruby-0-Thread-6:/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.1.1/lib/logstash/inputs/kafka.rb :225] 调试 org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - 由于协调员未知，因此无法自动提交组 aupm 的偏移量
嗯，好的，协调员未知，这意味着我们无法联系到担任该组代理协调员的正确经纪人。如果您使用此组 ID 运行控制台使用者，它是否有效？尝试缩小这是 Kafka 问题还是客户端问题。
已修复。谢谢你的帮助。调试帮助很大。原来我没有在端口 9092 上从 ELK 服务器打开入口的 SG 规则。一旦我这样做了，日志就开始流入。