Cassandra 节点经常因堆空间错误而死机

Question

我遇到了 Cassandra 节点因“java.lang.OutOfMemoryError: Java heap space”异常而定期死亡的问题。

我的设置包含在 5 个虚拟机上运行的 5 个 Cassandra 2.0.11 节点。 每个 VM 都有 8GB RAM、100GB 磁盘容量和相当快的 CPU。

我已经尝试过增加堆大小。目前它设置为默认值（8GB 的​​ 1/4=2GB）。

内存填充得非常快，接缝成为限制因素。如何强制 cassandra 使用更少的内存？我可以容忍较慢的写入操作以换取稳定性。

目前我只写没有更新、读取或删除。 我编写每个文件约 100000 个值的时间序列。并发级别为 QUORUM，复制因子为 3。我使用 datastax 中的 java-driver。

表是这样创建的：

"CREATE TABLE IF NOT EXISTS %s.%s(\n" +
        "ts_type text,\n" +
        "ts_name text,\n" +
        "year int,\n" +
        "time timestamp,\n" +
        "value double,\n" +
        "PRIMARY KEY((ts_type, ts_name), year, time));"

数据是这样写的：

for (final Double value : data) {
    final Insert insertStatement = (Insert) QueryBuilder.insertInto(keyspace, tableName)
            .value("ts_type", tsType)
            .value("ts_name", tsName)
            .value("time", timestampAsDate)
            .value("year", timestamp.getYear())
            .value("value", value)
            .setConsistencyLevel(consistencyLevel);
    batch.add(insertStatement);
    zeitpunkt = zeitpunkt.plus(period);
    if (index++ % 200 == 0) {
        sets.add(client.executeAsync(batch));
        batch = (Batch) QueryBuilder.unloggedBatch().setConsistencyLevel(consistencyLevel);
    }
}

这是一个垂死节点的堆栈跟踪： http://pastebin.com/tTNRgJMP

如您所见，GC 在这里花了很长时间。

这是一个死节点的堆转储： http://i.imgur.com/rOJ3MIl.jpg

知道我做错了什么吗？

提前感谢您的帮助。

Answer 1

插入应该只是被刷新到磁盘，而不是导致 OOM 异常。

Cassandra 确实需要大量内存，2GB 似乎非常低。它的性能不仅来自每个节点的大量内存，还来自大量节点，创造了一个非常大的缓存。

我建议您每个节点有一个 8GB 的​​堆，并且您的 VMS 应该增加到 ~32GB 的内存。确保您已安装 JNA，以便 Cassandra 可以利用额外的堆外内存。

Answer 2

我刚刚在堆空间问题上与 Cassandra (2.0) 进行了角力。我一直在运行 3 个 VM 节点，每个节点 8GB RAM，复制 1。不用说，不是最佳的。

这是我使用它并发现的： 我正在存储一个很长的多部分键（（uuid），文本，文本，文本，int）来引用一个值（文本）和一些其他的跟踪信息，这确实不是必需的，但很高兴拥有，采取另外两个整数的形式。我还（过去时）对其中一个特别好的字段进行了索引。 Cassandra 经常抱怨说，处理我的批量插入需要花费太多时间，每分钟一次处理大约 4000 个。如果/当我尝试进行 nodetool 修复时，它通常会因堆空间错误而崩溃。我做的第一件事就是放弃那个不错但最终没有必要的索引。停止修复崩溃，但修复需要几天才能完成。其次，我将 8GB 提升到 24GB。听起来这不是你所拥有的奢侈品，但这就是它所需要的。这将修复时间从几天更改为几小时，比如 8 个。第三，我从2.0升级到2.2。一旦我在所有三个节点上运行修复，花了 24 小时，我升级了每个节点，一次一个，然后在所有节点都升级后再次运行修复。现在修复，不仅不崩溃，而且在大约两个小时内完成整个集群。更快，更稳定。我已经添加了第四个节点和第二个副本。仍然没有问题。我认为最大的问题是二级索引。我还发现安装 jemalloc 可以极大地提高速度。