Solr 在大量动态字段上的查询性能

Question

这个问题是我上一个问题的后续问题：Is child documents in solr anti-pattern?

我正在创建一个关于动态现场性能的新问题，因为我没有找到任何关于该主题的最新相关帖子，并且觉得应该在这里单独提出一个问题。

我知道动态字段被视为静态字段，并且在性能方面两者都相似。

此外，根据我的阅读，就内存而言，动态字段效率不高。假设一个文档有 100 个字段，而另一个文档有 1000 个（集合中的最大字段数），Apache Solr 将分配内存块以支持集合中所有文档的所有 1000 个字段。

我有一个要求，我有 6-7 个字段可以作为子文档的一部分，每个父文档最多可以有 300 个子文档。这意味着每个父文档可能有大约 2000 个字段。

当我们在文档中有如此大量的字段时，对查询的性能会有什么影响？

Answer 1

这真的取决于你想用这个字段做什么以及这些字段的定义是什么。使用docValues，解决了稀疏字段（即仅在文档总数中的一小部分具有值的字段）的内存使用的大多数早期问题。

此外，您通常可以将这些动态字段重写为单个多值字段以进行过滤，而不是对每个字段进行过滤（即common_field:field_prefix_value 其中common_field 包含您要过滤的值，前缀为字段名称/唯一字段ID）。

无论如何，最后一种情况是，这取决于您总共拥有多少文档。如果您只有 1000 个文档，则无论如何都不是问题。如果您有一百万，它曾经是 - 取决于您需要这些动态字段的用途。这些天来，这真的不是问题，我会从天真的、直接的解决方案开始，看看它是否适合您的用例。如果不确切知道这些字段将包含什么、这些字段的用例是什么、它们将用于什么以及您的应用程序的查询配置文件，就很难说。

如有必要，还可以考虑使用“side car”索引，即使用主索引中重复数据的特殊索引来解决某些查询或查询要求。您根据用例选择要搜索的索引，然后将适当的数据返回给用户。