Logstash - 从 Kafka 到 ES 的数据答案

【问题标题】：Logstash - Data from Kafka to ESLogstash - 从 Kafka 到 ES 的数据
【发布时间】：2017-01-17 12:18:14
【问题描述】：

使用 logstash 5.0.0，以 kafka 源作为输入 -> 获取数据并在 Elasticsearch 中生成输出。（ElasticSearch 5.0.0 版）

Logstash 配置：

input{
kafka{
bootstrap_servers => "XXX.XXX.XX.XXX:9092","XXX.XXX.XX.XXX:9092","XXX.XXX.XX.XXX:9092"
topics => ["a-data","f-data","n-data"]
group_id => "sound"
auto_offset_reset => "earliest"
consumer_threads => 2
}
}
filter{
json{
source => "message"
}
}
output {
elasticsearch {
hosts => [ "XXX.XXX.XX.XXX:9200" ]
}
}

当我运行以下配置时，我收到以下错误。

$ ./logstash -f sound.conf
Sending Logstash logs to /logstash-5.0.0/logs which is now configured vi   a log4j2.properties.
[2017-01-17T10:53:29,273][ERROR][logstash.agent           ] fetched an invalid c   onfig {:config=>"input{\nkafka{\nbootstrap_servers => \"XX.XXX.XXX.XX:9092\",\"XXX.XXX.XX.XXX:9092\",\"XXX.XXX.XX.XXX:9092\"\ntopics => [\"a-data\",\"f-data\   ",\"n-data\"]\ngroup_id => \"sound\"\nauto_offset_reset => \"earliest\"\nc   onsumer_threads => 2\n}\n}\nfilter{\njson{\nsource => \"message\"\n}\n}\noutput    {\nelasticsearch {\nhosts => [ \"XX.XX.XXX.XX:9200\" ]\n}\n}\n\n", :reason=>"Ex   pected one of #, {, } at line 3, column 40 (byte 54) after input{\nkafka{\nboots   trap_servers => \"XX.XX.XXX.XX:9092\""}

谁能帮我完成这个配置。

【问题讨论】：

标签： logstash logstash-configuration elasticsearch-5

【解决方案1】：

您的topic 不应该是topics，它是一个数组，您已将值作为散列插入其中：

topics => ["a-data","f-data","n-data"] <-- try changing this line

【讨论】：

在您的kafka 输入中，我看不到最后三个概要包含在 5.0 version 中。
Darth_Vader - 我不明白你。最后三个概要？
我的意思是这三个：group_id => "sound" auto_offset_reset => "earliest" consumer_threads => 2
我排除了这三行并尝试了。没用
你能帮我解决这个问题吗？我尝试删除 group_id => "sound" auto_offset_reset => "earliest" consumer_threads => 2 .. 但似乎不起作用。谁能帮忙？