【问题标题】:Elasticsearch maximum index count limitElasticsearch 最大索引计数限制
【发布时间】:2020-11-14 17:28:42
【问题描述】:

在弹性搜索中我们可以创建多少个索引有限制吗?

可以在 Elasticsearch 中创建 100 000 个索引吗?

我已经读过,最多可以创建 600-1000 个索引。可以缩放吗?

例如:我有很多商店,商店里有商品。每个商店都有自己的索引,其中的商品将被索引。

【问题讨论】:

  • 如果您在其中使用印度词,非印度人不太可能理解您的问题。
  • 哦,谢谢你的编辑,会记住的:)

标签: elasticsearch elasticsearch-6.5


【解决方案1】:

这样没有限制,但显然,您不想创建太多索引(太多取决于您的集群、节点、索引的大小等),但一般来说,这是不可取的,因为它可以有服务器对集群功能和性能的影响。

请查看loggly's blog,他们的第一点是关于正确配置,下面是来自同一博客的重要相关文本。

ES 可以很容易地创建大量的索引和大量的 分片,但重要的是要了解每个索引和分片 是有代价的。如果您有太多索引或分片,则 单独的管理负载会降低您的 ES 集群性能, 可能会使其无法使用。我们专注于 这里的管理负载,但运行过多的索引/分片也可以 对您的索引和搜索有相当大的影响 性能。

我们发现影响管理开销的最大因素是 集群状态的大小,它包含所有的映射 集群中的每个索引。在某一时刻,我们有一个集群 超过 900MB 的集群状态大小!集群还活着,但不是 可用。

编辑:感谢@Silas,他指出从 ES 2.X 开始,集群状态更新的成本并不高(因为唯一的差异是在更新调用中发送的)。有关此更改的更多信息可以在this ES issue上找到

【讨论】:

  • 在较新版本的 ES 中,集群状态不像 2016 年(撰写本文时)那样出现问题,当时整个集群状态都在每次发生微小变化时都转移到所有节点集群,这可能会使集群完全无法使用。不过,保持较小的尺寸仍然是一个很好的一般性建议。
  • 是的,这是合乎逻辑且正确的。但我创建不同索引的原因是,其他商店文档干扰了我要搜索的商店。分数是根据所有文档评估的。如果我将商店从一个实例复制到另一个没有其他商店数据或数据较少的实例,搜索结果会因实例而异。
  • @jbmyid,很好,让我们在那里进行讨论,但是如果您可以投票并接受这个答案,如果它有帮助,那就太好了:) TIA
  • @ElasticsearchNinja @ElasticsearchNinja issue 是差异对话开始的地方,它成为 2015 年 10 月 28 日发布的 ES 2.0.0 的一部分。很难知道 loggly 的作者是否被烧毁(如我们中的许多人)来自 1.x 的糟糕体验,并且不知道更新。
  • @SilasHansen,非常感谢您的链接,shay banon 自己的问题令人惊讶,但是几个月前,我在 Stackoverflow 上发现了一些帖子,其中用户在更新集群状态时报告超时(超过 30第二次超时),他们在 6.x 和 7.x 上,这让我认为这个问题仍然存在。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-10-27
  • 1970-01-01
  • 2016-05-07
  • 1970-01-01
  • 2017-03-03
  • 1970-01-01
相关资源
最近更新 更多