超过 Redis 最大内存

Question

我正在本地机器上尝试使用 redis 3.0 驱逐策略 - 我想限制最大内存，以便 redis 不能消耗超过 20 兆字节。

我的配置：

loglevel debug
maxmemory 20mb
maxmemory-policy noeviction

从这里，我运行 redis-server 和我的配置，然后是

redis-benchmark -q -n 100000 -c 50 -P 12

在内存中存储一​​堆键。这使我的 Mac 上的 redis 内存使用量为 21MB，超过指定限制 1 MB。如果我再次运行它，会消耗更多。

根据redis documentation，这应该由我的 maxmemory 指令和驱逐策略控制，在后续写入时会引发错误，但我没有发现这种情况。

为什么 redis-server 消耗的内存比分配的多？

Answer 1

Redis maxmemory 策略控制用户数据内存使用情况（如注释中的Itamer Haber sas）。但这里有一些更复杂的内存计算情况：

• 取决于操作系统。
• 取决于 CPU 和使用的编译器（读取为使用的 Redis x86/x64）
• 取决于使用的分配器（Redis 中默认为jemalloc）

在现实世界的应用程序（如 Redis）中，您对内存管理的权限有限。因此，您的应用程序将为编译为 x64 或 x86 的同一应用程序消耗不同的内存）。在 Redis 数据开销的情况下，内存最接近 2 倍。

为什么这很重要

每次向 Redis 写入一些数据时，它都会使用分配器分配或重新分配内存。最后一个 (jemalloc) 对此有复杂的策略。简而言之 - 分配内存大小，排成最接近的 2 次幂（您需要 17 个字节 - 将分配 32 个字节）。许多 Redis 结构使用相同的策略。例如 HASH（和 ZSET，因为 HASH 在引擎盖下使用）使用这样的策略。字符串使用更粗暴的策略 - 在 REDIS_ENCODING_EMBSTR_SIZE_LIMIT (1 mb) 以下时将大小加倍（重新分配）或仅分配需要大小 + REDIS_ENCODING_EMBSTR_SIZE_LIMIT）。

那么，您是否限制了 maxmemory - os 中实际使用的内存可能更多，而 Redis 对此无能为力。

附言请不要拿来做广告。你的问题和我很接近。这是series of articles关于 Redis 中的实际内存使用情况（它们都是俄语，对此感到抱歉。我计划在这个新年周末将它们翻译成英文。之后更新链接在这里。翻译的部分available here）。