可记忆的理解

Question

我对 cassandra memtable 有一些疑问。我将不胜感激。

关于内存表的事实：

1) 放置在 RAM 中；

2) per-ColumnFamily 结构；

3) 单个列族可能存在多个 memtable；

问题：

1) 何时创建列族的附加内存表？需要什么条件？我假设在创建额外的提交日志文件后会创建额外的内存表。这是真的吗？

2) 达到提交日志大小阈值后会发生什么？我认为这将开始将 memtables 放入队列；队列填充后将开始将 memtable 刷新到 sstable，然后删除较旧的提交日志（在 hdd 上）和相应的 memtables（在 ram 中）。在这种情况下，memtable 内存的某些部分将始终为空，并且提交日志始终会被填充到 90-100%？

3) 当达到 memtable 大小阈值时会发生什么？像以前的情况一样会开始刷新到sstable吗？提交日志的某些部分也将始终为空，而 memtable 内存将被填充到 90-100%？

4) 关于memtable_allocation_type： 在官方资源中 - "offheap_buffers 将单元名称和值移动到 DirectBuffer 对象。这对读取的影响最小——这些值仍然是“活动”Java 缓冲区——但只有在存储大字符串或 blob 时才会显着减少堆。”。 DirectBuffer 是什么意思？它是放在java堆中的吗？你能提供相关信息的网站链接吗？

非常感谢！

Answer 1

1. 对于给定的列族，内存中通常只有一个 Memtable，除非在修复过程或挂起的刷新等特殊情况下。
2. 当Commit Log满时触发flush：Memtable作为SSTable写入磁盘，然后Memtable被清空，Commit Log被回收。一个新的周期从一个空的 Commit Log/Memtable 开始
3. 当 Memtable 超过给定大小时，会像上面一样触发刷新。
4. 通常 Memtable 默认保存在 Java 堆内存中。截至Cassandra 2.1, Memtable can be stored outside the Java Heap 以减轻GC 压力。但是，此设置是针对某些特殊情况的优化。 Cassandra 可以使用 JNA 将数据存储在 Java 堆之外，这意味着这些数据不适合垃圾收集，因为它不为 JVM 所知。但是，必须转换 Java 对象以在其中存储/检索。这就是为什么这些 Java 对象不被视为“活动”的原因。

我建议你看https://academy.datastax.com/courses/learning-cassandra-write-path