【问题标题】:Is Kibana date format index pattern still supported?Kibana 日期格式索引模式是否仍受支持?
【发布时间】:2017-11-21 15:16:17
【问题描述】:

我得到了最新的 Kibana 5.4.0,Docs 说:

https://www.elastic.co/guide/en/kibana/current/index-patterns.html#settings-create-pattern

要在索引名称中使用事件时间,请将静态文本包含在模式中,并使用下表中描述的标记指定日期格式。

例如,[logstash-]YYYY.MM.DD 匹配其名称的时间戳为 YYYY.MM.DD 并附加到前缀 logstash- 的所有索引,例如 logstash-2015.01.31logstash-2015-02-01

当我尝试创建模式 [testx_]YYYY-MM-DD_HH-mm[testx_]YYYY-MM-DD_HH[testx_]YYYY-MM-DD 时,Kibana 找不到 @timstamp 字段并说没有任何索引与这些模式匹配。

GET _cat/indices
yellow open testx_2017-06-19_14    dHAfSzAuSEKpYLuA8p5EIw 1 1 1 0 4.6kb 4.6k
yellow open testx_2017-06-19_13-59 hfGkELCsSUavaX8GuLPuMQ 1 1 1 0 4.6kb 4.6kb
yellow open testx_2017-06-19       lbsdW18cSIuZ2bNn1Fw7WA 1 1 1 0 4.6kb 4.6kb

另一方面,对于 testx_* 模式,Kibana 找到 @timestamp 字段并匹配 100% 的索引...

最新的 Kibana 是否支持基于时间的索引名称?

如果索引命名架构仍然合适的话,我想从性能上获得好处...

更新

出了什么问题:

一些警告:

更新 2 我发现 https://www.elastic.co/blog/managing-time-based-indices-efficiently 宣传“翻转模式”。不再推荐在索引名称中维护日期/时间,但我怀疑新 API 是否让生活更轻松((

【问题讨论】:

    标签: kibana kibana-5


    【解决方案1】:

    根据这些问题:

    Kibana 4.3.0 应该会为您解决这个问题:它会自动优化通配符索引模式,例如 logstash-*,就像您以前只能通过手动配置基于时间的索引模式才能实现的那样与您的基础索引方案匹配的名称(例如 [logstash-]YYYY.MM.DD)。

    Elasticsearch 1.6 引入了 _field_stats API,它将首次允许我们搜索包含给定范围内的字段的索引。例如,我们可以搜索在 X 和 Y 之间包含 @timestamp 的索引。

    这意味着用户将不再需要在 UTC 午夜滚动索引,也不再需要使用日期模式。他们可以根据需要有效地命名索引。 Kibana 可以通过触发对索引的飞行前请求来自动优化请求。我们可能需要在这里添加一些缓存,但它应该会大大提高可用性。

    不需要基于时间的名称来提高性能,但保留基于时间的索引名称对于归档旧索引仍然有用。

    更新创建了从文档中删除基于时间的模式的问题。 https://github.com/elastic/kibana/issues/12406

    【讨论】:

      【解决方案2】:

      以前版本的 Elasticsearch 允许自动添加 @timestamp 等字段。 https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking_50_mapping_changes.html 因此索引不包含基于时间的事件,或者换句话说,没有包含日期​​时间字段的字段。 我将json日志直接转储到elasticsearch并在添加到elasticsearch之前添加时间戳。因此,在创建索引时,我选择了我定义的时间戳字段。

      【讨论】:

      • 我关于另一个问题的问题。索引名称的命名约定和搜索的相关优化..
      猜你喜欢
      • 1970-01-01
      • 2012-12-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-01-27
      • 1970-01-01
      相关资源
      最近更新 更多