Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地...
此时是logstash的左右是两部分,一是:接收来自微服务的日志推送,可以是tcp直接传输,也可以是日志文件;实践是通过tcp连接传输日志.二是推送出日志文件到redis中..
logstash的安装,就普通默认安装就好了...没其他要说的...
此时需要在bin的同级目录中创建conf文件夹,conf下创建touch logstash.conf文件;编写配置文件
此时的配置项为配置内容,启动时需要指定到该配置文件,才能生效.
nohup ./bin/logstash -f conf/logstash.conf &启动
logstash三要素:
input,filter和output...
input指定数据从哪里来,
filter对数据进行过滤处理
output指定将处理后的数据发送到哪里去.
这里tcp是input的插件
mode:可选server或client.server表示监听客户端连接;client表示去连接server
host:监听的server
port:监听的端口
codec:对输入数据进行编解码,转换格式,这样就不需要在filter中做这个事儿..."json_lines"是对有换行符("\n")的json串进行编解码."json"是对没有换行符json串进行编解码;
redis是output的插件:
data_type:可选list,channel或pattern_channel..此时使用的是list,后面redis客户端使用的时候的命令就是blpop命令处理redis内的元素.
host:redis server 的地址
key:即存储该list的key值
logstash作为shipper使用的时候,简单的配置就这么多.后续的更多配置,慢慢学习;
//todo
logstash配置