【问题标题】:What is most efficient way of writing on an index in elasticsearch?在elasticsearch中编写索引的最有效方法是什么?
【发布时间】:2022-01-24 21:36:24
【问题描述】:

我目前正在设计索引架构和索引模式。是否建议在索引上写 30 天?我正在做命名空间级别的索引,因此命名空间中的流量非常少 Elasticsearch 文档建议分片的大小为 20-50GB。该指数需要大约 30 天才能达到这个标记。这是可取的吗?

【问题讨论】:

  • “索引达到这个标记大约需要 30 天” - 您索引了多少数据?
  • @Dai From the context 显然是 50GB 而不是 50Gb 或 50GiB
  • @Val 是的,我最近在低级电子设备上花费了太多时间......
  • @Dai 我听到了 :-)
  • 50GB 我对这个误导性问题不好。

标签: elasticsearch elastic-stack elk


【解决方案1】:

如果您有基于时间的数据,official recommendation 将继续将您的文档写入到一定大小的基于时间的索引 (between 10GB and 50GB),然后让Index Lifecycle Management 翻转一次新的索引索引达到那个大小。

处理时间序列数据的新方法是利用data streams,它处理创建新索引、滚动到它们的所有细节,并提供对所有基础历史索引的高级读取访问。

【讨论】:

  • 由于我的命名空间中的流量很低,因此需要超过 15 天才能达到 10Gb 或高于该标记的索引大小。这会影响弹性的查询性能吗?在我当前的架构中,如果主分片超过 50GB 并且在索引上写入的最大天数为 5,我们就会进行翻转。
  • 绝对不是,重点是不要创建太多太小的索引。所以我猜你的 max_days 可能会更高,更接近 30 天
  • 我试图实现一个数据流,但是当我在摄取节点中提到一个条件时,我现在没有得到结果,它没有像我想要的那样索引
  • 既然这个问题解决了,你能在一个新问题中描述你的问题吗?
  • 没有这个我正在尝试实现但得到另一个错误。我很快就会在这里发布问题
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-05-29
  • 2012-03-24
  • 1970-01-01
  • 2018-12-06
相关资源
最近更新 更多