优化 Cassandra/Solr 集群中的硬盘驱动器答案

【问题标题】：Optimizing hard drives in a Cassandra/Solr cluster优化 Cassandra/Solr 集群中的硬盘驱动器
【发布时间】：2016-05-21 04:50:25
【问题描述】：

我们运行一个 Cassandra/Solr 集群，目前 Cassandra 和 Solr 驻留在每个节点的同一硬盘上。

我希望为每个节点添加一个 SSD 驱动器，并有效地将 Cassandra 和 Solr 分离为单独的硬盘驱动器。我想为每个节点添加 2 个 SSD，但由于预算限制，我现在很可能无法为每个节点购买 2 个单独的驱动器，并且仅限于 1 个。

也就是说，我们在白天为客户使用数据库的主要用途是他们通过我们的前端 UI/Solr 查询数据库，因此最重要的是针对整个过程中的所有潜在读取/查询对其进行优化工作日（所有处理、分析等都发生在下班后）。哪个是 SSD 驱动器的最佳/最有效使用方式，将 Solr 放在它们上还是 Cassandra？

我并不期望性能会出现奇迹般的提升，而是我认为在我们的情况下，将 Solr 置于更快的驱动器上会更有优势，只是想验证我的看法是否正确。

【问题讨论】：

如果您在 SSD 上有空间，您可以从同一设备上运行两者：对于 Solr 和（在这里猜测）Cassandra 用于查询的小随机读取，SSD 比硬盘快得多只有其中一个应该会带来明显的改善。

标签： solr cassandra datastax-enterprise

【解决方案1】：

除了您提到的之外，我不会对您的环境进行任何假设，但请记住，DSE 搜索将沿索引路径从 Cassandra 读取（写入前读取以确保插入的整个文档有效） Lucene 索引）和查询路径（因为存储的文档字段是从 Cassandra 中检索的，而不是 Lucene 本身）。理想情况下，您的搜索查询将访问加载到操作系统页面缓存中的 Lucene 索引的 Solr 过滤器缓存和分段/docValues。

【讨论】：

【解决方案2】：

您没有提及 Solr 索引相对于系统内存的大小。

在理想情况下，您的 Solr 索引适合 RAM...根据我的经验，当 RAM 的价格阻止您将 Solr 索引适合 RAM 时，将 Solr 索引放在 SSD 上可以显着提高性能。

我在运行混合存储系统的经验非常有限，其中 Cassandra SSTables 位于盘片上，Solr 索引位于 SSD 上，但我的经验表明这是一种有价值的方法，并且与 100% 的盘片相比，仍然应该提供显着的性能改进。

【讨论】：