【问题标题】:Index pattern is not showing up in Kibana managementKibana 管理中未显示索引模式
【发布时间】:2019-09-20 22:47:11
【问题描述】:

使用 ELK Stack ver 7.3.2 Linux RedHat 6.9 (Santiago) Kafka Client 2.1
kafka-input-plugin 与 Logstash 一起使用。
Kibana 已启动并运行。
弹性搜索配置为与 Kibana 一起运行。
Kibana 与 Elastic search 在同一台虚拟机上运行。
检测信号正在运行。
Filebeat 正在运行。
Logstash 输入是一个 Kafka 主题,配置为输出到 Elastic。

我看不到应该由 Elastic 生成并放在 Kibana 上的索引。

这是 Logstash 的简单配置

input {
  kafka {
    bootstrap_servers => "nydvalkafvm01.tradeware.com:9092"
    topics => ["cat.dev1.service.NJPW7DT004.SM1"]
  }
}

output {
  elasticsearch {
    hosts => ["http://nyuatalcasvm01:9200"]
    index => "test_boris"
    workers => 1
    #user => "elastic"
    #password => "changeme"
  }
}

这是控制台输出

[2019-09-20T22:02:00,444][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Revoking previously assigned partitions []
[2019-09-20T22:02:00,445][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] (Re-)joining group
[2019-09-20T22:02:00,506][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2019-09-20T22:02:00,521][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Successfully joined group with generation 13
[2019-09-20T22:02:00,522][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Setting newly assigned partitions [cat.dev1.service.NJPW7DT004.SM1-0, cat.dev1.service.NJPW7DT004.SM1-1]

我希望在 Kibana 管理中看到索引“test_boris” 我在配置中缺少什么吗?

【问题讨论】:

    标签: elasticsearch logstash kibana-7


    【解决方案1】:

    只有在 logstash 处理完索引中的事件后,才会创建索引。所以根本问题很可能是kafka主题没有任何内容。

    【讨论】:

    • 我必须使用 kafka 控制台创建自己的名为 boris-topic 的主题。 ./kafka-topics.sh -create \ > --zookeeper localhost:2181 \ > --replication-factor 1 --partitions 13 \ > --topic boris-topic 要查看我的主题,我可以查询 myhost 上的所有主题: 9092 ./kafka-console-producer.sh --broker-list myhost:9092 --topic boris-topic 然后我能够向该主题发送消息>我们所知道的世界末日
    猜你喜欢
    • 2022-01-06
    • 1970-01-01
    • 1970-01-01
    • 2021-05-29
    • 1970-01-01
    • 2018-07-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多