DSE Solr集群容量规划方向

Question

开始使用最新的 DSE，尝试设置初始 DSE solr 集群并希望确保满足基本容量需求。在以下文档中，我按照此处的说明进行了一些初始容量测试：

http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/srch/srchCapazty.html

我的测试单节点设置是在 AWS 上，m3.xl，两个 40GB ssd 的 80GB raid0，安装了最新的 DSE

我总共插入了 6MM 示例记录并运行了一些 solr 搜索，这与生产运行的搜索类似。

我的 6MM 记录有以下数字：

  6MM Records

  7.6GB   disk (Cassandra + solr)
  2.56GB  solr index size
  96.2MB  solr field cache(totalReadableMemSize)
  25.57MB solr Heap

我正在尝试规划一个初始启动集群，希望计划存储和索引大约 250MM 记录以启动。早期的读取负载将非常小，因此开始时不必太担心读取吞吐量。

按照容量规划文档页面和 6MM 到 250MM 的一些数字，数据集的基本要求如下：

  250MM Records
  106GB solr index size
  317GB disk (Cassandra + solr)
  4GB solr field cache(totalReadableMemSize)
  1.1GB solr Heap

所以有些问题正在寻找一些指导以及我是否正确理解文档：

我是否应该将大约 360GB+ 的存储空间作为安全目标，并且随着数据集的增长而平均不超过 80% 的磁盘容量？

我应该使用可以为 solr 分配 6GB + 为 Cassandra 分配 XGB 的节点吗？ （即：如果 250MM 的整个 solr 索引对于堆和字段缓存大约为 6GB，并且我通过复制跨 3 个节点进行分区）

使用 ~6GB 的 solr，我应该尝试为 Cassandra 贡献多少？

规划时还有什么需要考虑的（将在 AWS 上运行）？

更新 (11/6) - 来自 phact 的注释/建议

在 Cass+Solr 一起运行的情况下，将为每个节点指定 14GB 用于基本操作，移动到 AWS 上的目标 30GB 内存节点，剩下 16GB 用于操作系统、solr 索引、solr 字段缓存

我将 solr 索引大小添加到上面的数字中，如果建议的目标似乎是将大多数/所有索引保留在内存中，我可能需要以至少 8 个节点为目标，每个节点有 30GB 内存。

对于 solr 节点来说，在内存中定位索引似乎需要大量额外开销，可能需要重新考虑方法

Answer 1

Solr 节点上的 DSE 堆

运行 solr 的 DSE 节点的推荐堆大小为 14gb。这是因为 Solr 和 Cassandra 实际上运行在同一个 JVM 中。您不必单独为 Solr 分配内存。

AWS M3.xl

15gb ram 的 m3.xl 对于 14gb 堆会有点紧。但是，如果您的工作量相对较轻，您可以在 solr 节点上使用 12gb 堆。

操作系统页面缓存

您确实希望确保至少能够将 Solr 索引放入 OS 页面缓存（减去堆后剩余的内存 - 假设这是一个专用框）。理想情况下，Cassandra 还可以在页面缓存中存储一​​些经常读取的行。

确定索引有多大的一种快速而肮脏的方法是检查文件系统上索引目录的大小。如果您期望数据增长，请务必进行预测/推断。您还可以检查每个核心的索引大小，如下所示：

http://localhost:8983/solr/admin/cores?action=STATUS&memory=true

注意 - 每个节点都应该在内存中保存它的索引，而不是整个集群的索引。

存储

是的，您确实希望确保您的磁盘没有被过度使用，否则您可能会在压缩过程中遇到问题。理论上——更糟糕的情况——分层压缩可能需要多达 50% 的磁盘可用。不过这并不常见，请查看更多详细信息 here。