Elasticsearch 月度滚动索引

Question

我一直在使用 logstash 在 elasticsearch 中提供每日滚动索引，类似这样

   output {

        elasticsearch {

                ....
                index: myindex-%{+YYYY.MM.DD}
       }
   }

在查看http://logstash.net/docs/1.4.1/outputs/elasticsearch.html#index 之后，我发现我需要使用每月滚动索引

但我还是觉得迷茫，那答案是不是就这么简单，改用myindex-%{+YYYY.MM}，每个月底都会滚动索引？

更新： 以下是“相同”事件（具有相同的 _id 字段）在两个不同日期被索引的示例

在 A 天，这是索引

   {_id: 123, message: "old message}

在第二天 B，这被编入索引

   {_id: 123, message: "updated message} 

因此，如果第 A 天和第 B 天属于两个单独的索引，如果我的查询回溯到所有这些索引，我将有 2 个事件。为了消除重复，在索引事件 B 时，我将使用 _id 进行额外检查查询并删除先前存在的事件 A，然后对 B 进行索引。如果是每日索引，随着时间的推移，恐怕我对 _id 的查询搜索会更贵，每月可以改善。最后但并非最不重要的一点是，如果从我的检查中找到的事件存在于当前索引中（今天到本月），它不会删除该事件，而是让 elasticsearch 基于_id 执行update（本质上它是一个删除/创建也一样，只是我不需要在我的代码中这样做）

谢谢

Answer 1

您提供的配置会发生事件的时间戳。如果您不进行其他配置，则记录日志存储接收事件的时间。但是，获取事件本身内的时间戳通常很有用。比这个时间戳被使用。下面是一些我经常使用的示例代码。

filter {
  date {
      match => ["timestamp" , "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
output {
  elasticsearch {
    protocal => "transport"
    host => "localhost:9300"
    cluster => "mycluster"
    index => "gridshore-logs-%{+YYYY.MM}"
  }
}