使用 logstash 将日志发送到弹性搜索答案

【问题标题】：Sending logs to elastic search using logstash使用 logstash 将日志发送到弹性搜索
【发布时间】：2016-08-17 21:58:45
【问题描述】：

我在 10.x.x.1 中设置了单节点 ELK，我已经安装了 logstash、elastic search 和 kibana。

我的应用程序在另一台服务器 10.x.x.2 上运行，我希望将我的日志转发到弹性搜索。

我的日志文件 /var/log/myapp/myapp.log 在 10.x.x.2

在 10.x.x.1 中，我在 /etc/logstash/conf.d 中提供了这个输入

input {
  file {
    path => "/var/log/myapp/myapp.log"
    type => "syslog"
  }
}

output {
   elasticsearch {
       hosts => ["10.252.30.11:9200"]
       index => "versa"
   }
}

我的问题如下

我需要在 10.x.x.2 中安装 logstash
我怎样才能只对有“错误”的行进行 grep
我的应用程序每天都会生成一个大小为 10MB 的日志。我只是想知道，如果我可以在我的弹性搜索中再添加一个节点，这样空间就不会被填满。
我不想将我的日志永久保存在弹性搜索中。有什么办法可以为发送的日志设置到期时间？即在 7 天后删除日志。

【问题讨论】：

您需要在10.x.x.2 上而不是在 10.x.x.1 上使用 LS。
您应该避免在帖子中提出多个问题

标签： elasticsearch logstash

【解决方案1】：

我可以回答 1 和 2。

您需要在 10.x.x.2 上至少安装Logstash（不推荐）或Filebeat 或Packetbeat 之一。 Filebeat 或 Packetbeat 都很好，而且来自 Elastic.co 公司。 Packetbeat 用于通过网络捕获应用程序日志，而不是日志文件。对于您的情况，使用文件日志，只需使用 Filebeat。
您需要编辑 Filebeat 配置文件 (filebeat .yml) 以将其日志拍摄到 10.x.x.1

filebeat: prospectors: - paths: - /var/log/myapp/myapp.log

和

logstash: hosts: ["10.x.x.1:5044"]

在 10.x.x.1 上，您已经安装了 Logstash（以及其他用于制作 ELK）的地方，您需要为 Logstash 创建一些配置文件：
- 将名为02-beats-input.conf 的输入文件添加到/etc/logstash/conf.d/
input { beats { port => 5044 ssl => false } }
- 将名为03-myapp-filter.conf 的过滤器文件添加到/etc/logstash/conf.d/。您应该找到与您的日志匹配的过滤模式。

【讨论】：

Packetbeat 与当前用例无关。您应该删除它的提及以避免混淆。
@baudsp，我不知道这个myapp 是否是数据包支持的协议（dns、http、memcache、mysql、...）。我更新了我的答案。
由于 OP 明确询问了一个日志文件，我看不到“捕获应用服务器之间的网络流量，解码应用层协议”(source) 的软件是什么给他用。

【解决方案2】：

对于 2：

Kibana 充当 Elasticsearch 的 Web 界面。一旦启动，默认情况下它将在端口 5601 上可用。然后您可以使用发现界面搜索术语，例如“错误”。它将返回包含该术语的前 500 个文档。

对于 3：

另一个 Elasticsearch 将允许在节点之间传播您的数据。但是一个节点可以轻松处理几千兆，没有问题。

对于 4：

您不能为数据设置到期日期。至少它不会是自动的，您必须搜索所有今天到期的日志并删除它们。
另一种解决方案（更好的解决方案）是每天创建一个索引（使用 index => "versa-%{+YYYY.MM.dd}"）并在 7 天后删除索引（使用 elasticsearch curator 和 cron 作业轻松完成）

【讨论】：