前记:上一篇写了es集群的搭建,这一篇再把 可视化的kibana 和 数据导管logstash 部署一下。


kibana安装:

kibana安装很简单,下好和es对应版本的kibana解压后。

1,打开config/kibana.yml 文件 加上

server.port: 5601 #指定kibana服务端口,可以不配默认就是5601
           server.host: "192.168.1.128" #kibana安装的ip地址或主机名,默认localhost
           elasticsearch.hosts: ["http://192.168.1.128:9200","http://192.168.1.135:9200","http://192.168.1.136:9200"] #es集群

2,./bin/kibana 启动kibana

ELK系列——logstash、kibana单点搭建(二)

访问:http://192.168.1.128:5601  ok。

kibana 后台启动:setsid ./bin/kibana


logstash安装:

1,解压即可。

2,logstash关键有两个文件需要自己写自己配置,一个是logstash的配置文件,里面定义了input,filter,output,我这里是要从kafka读数据进es,所以在 config目录下新建 kafka-logstash-es.conf。

input {   
    kafka {
        bootstrap_servers => ["192.168.1.128:9092,192.168.1.135:9092,192.168.1.136:9092"]  
        group_id => "libb"   
	auto_offset_reset => "earliest"
        topics => ["mqtt1"]    
	  codec => "json"    
        }
}

filter {
			
 
 
}

output {
 
stdout { 
    codec => rubydebug
   }
}

我先输出到控制台,调试数据。

 

后续还有个配置文件就是写入es时索引的模板文件,这里面定义索引的分片数,副本数,等等的一些东西,然后在上面这个kafka-logstash-es.conf文件的output里面指定使用索引的模板配置文件即可。

相关文章: