Filebeat with ELK > 如何有效地为每个日志文件构建索引

Question

我打算利用 Filebeat(s) 通过 Logstash 将日志文件从每个节点的预定目录复制到一个通用的 Elasticsearch 数据库中。例如，在源目录中有 10 个日志文件具有相同的日志格式，并且它们每天都在高速增长。

尽管这 10 个日志文件具有相同的日志格式，但它们是由 10 个不同的程序生成的。因此，从长远来看，为每个日志文件构建一个索引可能是明智的，即 10 个索引，每个索引对应一个日志文件。首先，我想知道这是一个合适的计划吗？还是因为索引是每天生成的，所以所有日志数据只有一个索引就足够了？

如果为每个日志文件建立一个索引是明智的，那么如何实现这个目标呢？看来filebeat.yml 只允许定义一个索引，因此不可能使用一个Filebeat 生成多个索引。有什么好的解决方案吗？

Answer 1

Filebeat 只是托运人。它本身不能发送到多个 Elasticsearch 索引。为此，您需要 Logstash。

在 Filebeat 中为日志文件定义 multiple different prospectors 并为字段设置不同的值，因此可以在 Logstash 中使用它来执行逻辑。

然后在 Logstash depending on that field 中，每个探矿者可以有不同的值，将事件发送到一个或另一个索引。